If-Modified-Sinceヘッダを送ってくる検索エンジンのロボット(Google以外)を知りたいです。

ご存知の範囲で構いませんが、このロボットは該当ヘッダを送ってくる(ことがある)とか
、それとも(少なくとも現バージョンでは)全く送ってくることがないとか、ロボットそれぞれの対応状況を知りたいです。

目的は、サーバの転送量を減らす必要に駆られ、動的ファイルを無理やり304レスポンスコードを返そうと思うからです。

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:2005/10/03 16:26:46
  • 終了:--

回答(2件)

id:makeworld No.1

makeworld回答回数75ベストアンサー獲得回数232005/10/03 22:09:15

ポイント30pt

http://www.searchtools.com/robots/

About Search Indexing Robot Spiders

SearchTools.comや、Gromit Web Robotは、If-Modified-Sinceを送ってくるようです。

でも、If-Modified-Sinceを送ってくるような「お行儀の良い」ロボットは、たいていrobots.txtに対応していますので、まずはrobots.txtにて動的コンテンツの検索を拒否してはいかがでしょうか?


例)

User-Agent: *

Disallow: /cgi-bin/

Disallow: /*.cgi$

[空行]

それがダメな場合は、User-Agentでロボットを判別して、空のコンテンツを返すことで転送量は減ると思います。

id:kyoko55

ありがとうございます。

2005/10/09 19:48:39
id:etz_chaim No.2

etz_chaim回答回数6ベストアンサー獲得回数02005/10/09 05:18:26

ポイント30pt

http://www.ysearchblog.com/archives/000078.html

Yahoo! Search blog: Yahoo! Search Tips for Webmasters: Saving Bandwidth

このサイトの記述によると


”our crawler often sends the HTTP If-Modified-Since header (see section 14.25 of rfc 2616) when making repeat requests. If your webserver is setup to recognize this header, it will respond with a 304 HTTP status code instead of a 200 if the content is unchanged.”


とあります。

id:kyoko55

ありがとうございました。

お二方、参考になりました。

2005/10/09 19:57:36

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません