人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

検索エンジンのロボットで、クッキーを読むロボットは存在するのでしょうか?
また、読むまではいかなくても「クッキーを有効にしている」と偽装するものもあるのでしょうか?

●質問者: wintarsnow
●カテゴリ:インターネット ウェブ制作
✍キーワード:クッキー ロボット 存在 検索エンジン
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● はむ!
●30ポイント

検索エンジンというのをGoogle,Yahooのようなタイプを想定するならば、

ロボットというのは基本的にはサーバー側の情報を取りにいきます。つまりURLでアクセスできる情報を読み取ります。

一方クッキーはユーザーのブラウザ内に保存されており、検索エンジンのロボットはクッキー情報に辿りつくことはできません。

「クッキーを読む・書く」ということは、ユーザーがウェブブラウザを使ってサーバーにアクセスしたときに行われることですから、ユーザーと直接アクセスすることのないロボットはクッキーの情報を収集することはできません。

ということで、一般的な「検索エンジン」のロボットに限るならばクッキーの情報を読むことはないものと思います。



一方クッキーの情報を狙うものがあるとするならば、掲示板の投稿内容にJavaScriptを忍ばせて(大手のサイトではこのようなことはできないようになっていますが)、ユーザーに表示させるよう仕向けることでクッキーの情報を収集する、という可能性は存在します。

参考:クロスサイトスクリプティング脆弱性について

http://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%82%B9%E3%82%B...


しかしながらこのような手段でクッキー情報を収集するのは「悪意」に他なりません。こうなると「検索エンジン」とはいえず、「ウイルス」「ワーム」「クラッカー」のような呼称で呼ばれるかと思います。

◎質問者からの返答

回答ありがとうございます!

>一般的な「検索エンジン」のロボットに限るならばクッキーの情報を読むことはないものと思います。

そうですか、安心しました。

Webサイトの検索避けを考えていまして、パスワード制以外で100%ロボットを避けるにはクッキーだ! と思いついたのですが、ふと「ひょっとして私が知らないだけでクッキー読むような特殊なロボットもあったりする?」と思っての質問でした。

例えばPHPで全てのページの先頭に、クッキーが無かったらクッキーを書いてクッキーのチェック用のファイルにリダイレクトするコードを入れ、リダイレクト先でクッキーがあれば元のページにリダイレクトし、無ければブラウザのクッキーが無効になっているかブラウザ以外のアクセスということで、exit;してしまえばロボットは何も拾えない。

と考えたのですが、もしクッキー読むロボッがいるならこの方法も不完全になってしまうなぁと。

以降は「いやいや、その方法じゃすり抜けるロボット(悪意のものは除いて)もあるよ」という回答がありましたらお願いします。


2 ● ito-yu
●40ポイント

PHPでは、スクリプトでHTTPクライアントとしてCookieを扱える実装が少なくとも2種類存在します。

http://php.net/curl

http://www.go-pear.org/manual/ja/package.http.http-client.php

これは、いわば「WEBブラウザのフリ」をする実装です。

当然、これを使えば、Cookieをセットされることもできますし、サーバサイドスクリプトの要求に従ってCookieを読み出させることもできます。

ただ、それを使ったクロウラーがいるかどうかはよく知りません。

ただ、作ろうと思えば間違いなく作れます。

◎質問者からの返答

回答ありがとうございます!

リンク先、参考になりました。

なるほど、こういう実装があったんですね。

作れるということは、これを使ったロボットがいないとは言い切れないですよね。むむむ。

クッキーによる検索避けは、100%ではなく、99%くらいの表現が適切な感じですね。

--

皆様、ありがとうございました。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ