相当古い情報です。「Web Archive」から引用しました。
http://web.archive.org/web/20010508012357/http://www.mars.sphere...
検索エンジンのしくみ教えます(索引更新周期編第1章)
kojiさんがもしサイトをお持ちなら、ログをとられていますよね?
検索エンジンのロボットは、そのIPや名前などで自分を名乗っていますので
ログをみて各サーチエンジンのスパイダーを特定しカウントしてはいかがでしょうか?
生のログでカウントするのが大変でしたら、ログ計測のツールでIPで絞り込んでカウントすることもできますよね。
ロボット名やIPのまとまった情報は、
http://www.spiderhunter.com/spiderlist/
IP Address Tracking, IP Address database and Search Engine Spider information at Spider Hunter
で確認できます。
ご不明な点があれば、遠慮なく質問してください。
はい、早速計ってみようと思います。どうも、ありがとうございました。
自分で実験するのは大変そうですが、非常にわかりやすい内容でした。ありがとうございます。