検索エンジンのロボットで、クッキーを読むロボットは存在するのでしょうか?

また、読むまではいかなくても「クッキーを有効にしている」と偽装するものもあるのでしょうか?

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:2006/06/21 21:29:01
  • 終了:2006/06/22 14:32:07

回答(2件)

id:hammm No.1

はむ!回答回数11ベストアンサー獲得回数02006/06/22 03:31:10

ポイント30pt

検索エンジンというのをGoogle,Yahooのようなタイプを想定するならば、

ロボットというのは基本的にはサーバー側の情報を取りにいきます。つまりURLでアクセスできる情報を読み取ります。

一方クッキーはユーザーのブラウザ内に保存されており、検索エンジンのロボットはクッキー情報に辿りつくことはできません。

「クッキーを読む・書く」ということは、ユーザーがウェブブラウザを使ってサーバーにアクセスしたときに行われることですから、ユーザーと直接アクセスすることのないロボットはクッキーの情報を収集することはできません。

ということで、一般的な「検索エンジン」のロボットに限るならばクッキーの情報を読むことはないものと思います。



一方クッキーの情報を狙うものがあるとするならば、掲示板の投稿内容にJavaScriptを忍ばせて(大手のサイトではこのようなことはできないようになっていますが)、ユーザーに表示させるよう仕向けることでクッキーの情報を収集する、という可能性は存在します。

参考:クロスサイトスクリプティング脆弱性について

http://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%82%B9%E3%82%B...


しかしながらこのような手段でクッキー情報を収集するのは「悪意」に他なりません。こうなると「検索エンジン」とはいえず、「ウイルス」「ワーム」「クラッカー」のような呼称で呼ばれるかと思います。

id:wintarsnow

回答ありがとうございます!

>一般的な「検索エンジン」のロボットに限るならばクッキーの情報を読むことはないものと思います。

そうですか、安心しました。

Webサイトの検索避けを考えていまして、パスワード制以外で100%ロボットを避けるにはクッキーだ! と思いついたのですが、ふと「ひょっとして私が知らないだけでクッキー読むような特殊なロボットもあったりする?」と思っての質問でした。

例えばPHPで全てのページの先頭に、クッキーが無かったらクッキーを書いてクッキーのチェック用のファイルにリダイレクトするコードを入れ、リダイレクト先でクッキーがあれば元のページにリダイレクトし、無ければブラウザのクッキーが無効になっているかブラウザ以外のアクセスということで、exit;してしまえばロボットは何も拾えない。

と考えたのですが、もしクッキー読むロボッがいるならこの方法も不完全になってしまうなぁと。

以降は「いやいや、その方法じゃすり抜けるロボット(悪意のものは除いて)もあるよ」という回答がありましたらお願いします。

2006/06/22 14:00:57
id:ito-yu No.2

ito-yu回答回数323ベストアンサー獲得回数142006/06/22 14:17:14

ポイント40pt

PHPでは、スクリプトでHTTPクライアントとしてCookieを扱える実装が少なくとも2種類存在します。

http://php.net/curl

http://www.go-pear.org/manual/ja/package.http.http-client.php

これは、いわば「WEBブラウザのフリ」をする実装です。

当然、これを使えば、Cookieをセットされることもできますし、サーバサイドスクリプトの要求に従ってCookieを読み出させることもできます。

ただ、それを使ったクロウラーがいるかどうかはよく知りません。

ただ、作ろうと思えば間違いなく作れます。

id:wintarsnow

回答ありがとうございます!

リンク先、参考になりました。

なるほど、こういう実装があったんですね。

作れるということは、これを使ったロボットがいないとは言い切れないですよね。むむむ。

クッキーによる検索避けは、100%ではなく、99%くらいの表現が適切な感じですね。

--

皆様、ありがとうございました。

2006/06/22 14:29:55
  • id:hammm
    少々訂正させていただきます。

    ito-yu さんが書かれているように、「検索エンジン」自体が1ユーザーとしてクッキーを保持する可能性は否定できませんね。

    なんとなしに、「ユーザー側に既に存在するクッキーを読むか?」という質問に頭の中で変換してしまいました。

    このため、「検索避け」の手段としてクッキーの有無を使用するのは少々こころもとないかと思います。
  • id:wintarsnow
    wintarsnow 2006/06/22 20:03:31
    hammmさん、補足ありがとうございます。

    >「検索避け」の手段としてクッキーの有無を使用するのは少々こころもとないかと思います。

    やっぱりそうですか…。
    クッキーの利用は思いついた時は「名案だ!」と思ったのでちょっと残念です(苦笑)

    でも、robots.txtでルートからDisallowして、全ページに検索避けのメタタグ入れて、さらに今回のクッキーを使えば、ほとんどのロボットは避けられると考えて良いですかね。

この質問への反応(ブックマークコメント)

トラックバック

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません