人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

If-Modified-Sinceヘッダを送ってくる検索エンジンのロボット(Google以外)を知りたいです。
ご存知の範囲で構いませんが、このロボットは該当ヘッダを送ってくる(ことがある)とか
、それとも(少なくとも現バージョンでは)全く送ってくることがないとか、ロボットそれぞれの対応状況を知りたいです。

目的は、サーバの転送量を減らす必要に駆られ、動的ファイルを無理やり304レスポンスコードを返そうと思うからです。

●質問者: kyoko55
●カテゴリ:コンピュータ
✍キーワード:Google コード サーバ バージョン ファイル
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● makeworld
●30ポイント

http://www.searchtools.com/robots/

About Search Indexing Robot Spiders

SearchTools.comや、Gromit Web Robotは、If-Modified-Sinceを送ってくるようです。

http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html

$B%m%\%C%HBP:v(B

でも、If-Modified-Sinceを送ってくるような「お行儀の良い」ロボットは、たいていrobots.txtに対応していますので、まずはrobots.txtにて動的コンテンツの検索を拒否してはいかがでしょうか?


例)

User-Agent: *

Disallow: /cgi-bin/

Disallow: /*.cgi$

[空行]

http://www.pgts.com.au/pgtsj/pgtsj0208d.html

それがダメな場合は、User-Agentでロボットを判別して、空のコンテンツを返すことで転送量は減ると思います。

◎質問者からの返答

ありがとうございます。


2 ● etz_chaim
●30ポイント

http://www.ysearchblog.com/archives/000078.html

Yahoo! Search blog: Yahoo! Search Tips for Webmasters: Saving Bandwidth

このサイトの記述によると


”our crawler often sends the HTTP If-Modified-Since header (see section 14.25 of rfc 2616) when making repeat requests. If your webserver is setup to recognize this header, it will respond with a 304 HTTP status code instead of a 200 if the content is unchanged.”


とあります。

◎質問者からの返答

ありがとうございました。

お二方、参考になりました。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ