人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

robot.txtについて質問です。

http://www.example.com/
というアドレスがある場合
robot.txtは
http://www.example.com/robot.txt
に置く必要があると思います。
robot.txtにはトップ以外のアクセスを
禁止する記述を施しております。
その場合に外部からのリンクで
http://www.example.com/hogehoge/
が直接リンクされていた場合
googlebotなどはhogehogeのアドレスを
収集するのでしょうか?
それともhogehogeにリンクがあっても
まずドメイン直下のrobot.txtを見てから
収集をしないようにするのでしょうか?
ご存知の方おられましたら回答いただければと思います。

●質問者: quocard
●カテゴリ:インターネット ウェブ制作
✍キーワード:ROBOT txt アクセス アドレス ドメイン
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● hamster001
●35ポイント

googleは収集しないです。ただ、robot.txtを無視する検索エンジンもたくさんあります。

◎質問者からの返答

ありがとうございます。

hogehogeに直接リンクがあっても

ドメイン直下にrobot.txtを設置していれば

googleの場合は収集しないということですね。

参考になります。

ありがとうございます。


2 ● wnagata
●35ポイント

http://www.google.co.jp/support/webmasters/bin/answer.py?answer=...

を読む限りでは、googlebotはドメイン直下のrobots.txtを見てからサイトのクロールをするようですね。

そのページで嘘をついていると思えないから、robots.txtで禁止

されるページを収集しないのではないでしょうか。

◎質問者からの返答

ありがとうございます。

googleで検索してもうまいこと出てこなかったのですが

こちらとても参考になります。

ありがとうございます。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ