robot.txtについて質問です。


http://www.example.com/
というアドレスがある場合
robot.txtは
http://www.example.com/robot.txt
に置く必要があると思います。
robot.txtにはトップ以外のアクセスを
禁止する記述を施しております。
その場合に外部からのリンクで
http://www.example.com/hogehoge/
が直接リンクされていた場合
googlebotなどはhogehogeのアドレスを
収集するのでしょうか?
それともhogehogeにリンクがあっても
まずドメイン直下のrobot.txtを見てから
収集をしないようにするのでしょうか?
ご存知の方おられましたら回答いただければと思います。

回答の条件
  • 1人5回まで
  • 登録:2007/04/03 20:29:08
  • 終了:2007/04/07 01:28:28

回答(2件)

id:hamster001 No.1

hamster001回答回数474ベストアンサー獲得回数142007/04/03 20:39:35

ポイント35pt

googleは収集しないです。ただ、robot.txtを無視する検索エンジンもたくさんあります。

id:quocard

ありがとうございます。

hogehogeに直接リンクがあっても

ドメイン直下にrobot.txtを設置していれば

googleの場合は収集しないということですね。

参考になります。

ありがとうございます。

2007/04/03 20:46:44
id:wnagata No.2

wnagata回答回数170ベストアンサー獲得回数182007/04/03 20:43:43

ポイント35pt

http://www.google.co.jp/support/webmasters/bin/answer.py?answer=...

を読む限りでは、googlebotはドメイン直下のrobots.txtを見てからサイトのクロールをするようですね。

そのページで嘘をついていると思えないから、robots.txtで禁止

されるページを収集しないのではないでしょうか。

id:quocard

ありがとうございます。

googleで検索してもうまいこと出てこなかったのですが

こちらとても参考になります。

ありがとうございます。

2007/04/04 09:59:55

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません