サイトをロボットエンジンに引っかからない方法を教えてください

回答の条件
  • 1人5回まで
  • 13歳以上
  • 登録:2013/06/07 17:39:36
  • 終了:2013/06/14 17:40:07

回答(5件)

id:holoholobird No.2

holoholobird回答回数574ベストアンサー獲得回数1042013/06/07 18:18:21

ポイント20pt

以下をheadに入れて完了です。

<meta name="robots" content="noindex,nofollow"> 
id:a-kuma3 No.3

a-kuma3回答回数4489ベストアンサー獲得回数18572013/06/07 18:56:33

ポイント20pt

サイトを丸ごと、巡回の対象にしたくないのであれば、robots.txt を使う方が良いと思います。
http://info.search.yahoo.co.jp/archives/002849.php

公開しているディレクトリの直下に置いた robots.txt という名前のファイルひとつで、サイト全体のコントロールができます。

このファイルによる設定を使うと、Yahoo の巡回は拒否するが、Google は許可するとか、
あるディレクトリの下だけは巡回を許すといった、細かな指定もできます。

id:rafting No.4

ラフティング回答回数2652ベストアンサー獲得回数1762013/06/07 20:11:08

ポイント20pt

Basic認証でも可能です。

Web制作なんかでテストサイトを作成する場合などは、robots.txt を後々削除し忘れたりしないようにご用心ください。

以前に、実際に相談を受けた際(半年以上インデックス化されていない)に、調べてみたら、robots.txtが残っていたなんて笑えない話が実際にありましたw

id:rafting No.5

ラフティング回答回数2652ベストアンサー獲得回数1762013/06/08 21:46:05

ポイント20pt

Basic認証により「検索ボット」が排除されれば、結果的に「検索回避」になるということです。

要は、目的に対する手段です。

制作時に、クライアントへは「認証」をかまして確認をとっていただいているのであれば、「検索ボット」は排除できているので、わざわざrobotsで制御しておく必要もなくなります。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません