自分が運営しているサイトを、丸ごと、yahooやgoogleやmsnといった検索エンジンに引っ掛からないようにする方法を教えてください。


また、もし各ページごとに、このページは検索エンジンに引っ掛かり、このページは引っ掛からない、といった具合に出来るのならば、その方法も教えてください。

回答の条件
  • 1人5回まで
  • 登録:2008/02/02 02:50:49
  • 終了:2008/02/09 02:55:02

回答(3件)

id:rafile No.1

rafile回答回数662ベストアンサー獲得回数242008/02/02 03:37:38

ポイント27pt

robot.txtをおくことで実現できます。その他こちらをごらんください。

ここで不足であれば"robot.txt"で検索すればたくさん出てきます

http://www.tohoho-web.com/wwwxx079.htm

id:comcom9

ありがとうございます。

2008/02/02 14:00:01
id:y-kawaz No.2

y-kawaz回答回数1421ベストアンサー獲得回数2262008/02/02 03:45:15

ポイント27pt

大手のサーチエンジンは大抵 robots.txt や meta タグによるクロール制御に対応しているのでそれらを適切に行うことで検索されなくなります。


1つは、運営しているサイトの /robots.txt でアクセスできる場所に以下の内容のテキストファイルを置きます。

User-Agent: *
Disallow: /

これはこのサイトの全てのコンテンツをインデックスさせないという指定です。

以下のように隠したい場所のみをしていした Disallow を書いたり、User-Agent を * ではなく明記することで Google には検索されたいけど、Yahoo では検索されたくないといった指定も可能です。

User-Agent: Googlebot
Disallow: /himitu/
Disallow: /ura.html

User-Agent: Slurp
Disallow: /example.html

また、各ページ個別に以下のようなmetaタグを書くことでページ毎にHTMLだけで制御することもできます。

<meta name="robots" content="noindex,nofollow" />

noindexは検索対象ページにならないようにする指定で、nofollowはこのページのリンクをたどらないようにする指定です。

id:comcom9

ありがとうございます。

2008/02/02 14:00:04
id:you-pon No.3

you-pon回答回数1004ベストアンサー獲得回数232008/02/02 13:13:12

ポイント26pt

検索ロボット回避の方法

http://puti.riecan.com/hoka/d.html

id:comcom9

ありがとうございます。

2008/02/02 14:00:06

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません