yahoo、google、MSNのロボットをアクセスログから除外したいのですが、IPアドレスの一覧が掲載されているサイトはないでしょうか?

回答の条件
  • URL必須
  • 1人5回まで
  • 登録:2006/06/15 18:50:44
  • 終了:2006/06/22 18:55:03

回答(7件)

id:wen000 No.1

wen000回答回数134ベストアンサー獲得回数82006/06/15 19:09:33

ポイント18pt

基本的にはuser-agentにgooglebot、msnbot、Yahoo!という文字があれば除外

ということでいいかとおもいます。

IP載っているサイトがあったのでリンクします。

http://www.hyperposition.com/msn/robot.html

MSN

http://www.hyperposition.com/google/robot.html

google

http://www.hyperposition.com/yahoo/robot.html

YST

id:yumekoso

いや、IPアドレスなんです。

こちらの情報は新しいものでしょうかねぇ。

2006/06/15 19:48:07
id:moonwolf No.2

MoonWolf回答回数30ベストアンサー獲得回数22006/06/15 19:53:35

ポイント17pt

http://www.hyperposition.com/google/robot.html

とりあえずGoogleだけ

User-Agentがログに残っていれば、ロボットらしき名前を除外するようにすれば良いです。

ログに残していない場合、力技ですがIPアドレスから名前を逆引き(nslookupなど)して検索サイトのドメインからのアクセスを除外するという手があります。

id:yumekoso

質問にあります通り、IPが欲しいんです。

2006/06/15 20:01:24
id:aiaina No.3

aiaina回答回数8179ベストアンサー獲得回数1312006/06/15 21:35:38

ポイント17pt

MSNの場合

IP:msnbot.msn.com

UA:msnbot/1.0

Yahooの場合

IP:*.inktomisearch.com

UA:Mozilla/5.0

Googleの場合

IP:*.Googlebot.com

UA:Mozilla/5.0

http://q.hatena.ne.jp/answer

id:yumekoso

質問もコメントも読んでないんですね・・。

2006/06/15 23:32:50
id:orz_horie No.4

orz回答回数21ベストアンサー獲得回数52006/06/15 22:39:36

ポイント17pt

http://www.google.co.jp/intl/ja/webmasters/bot.html#logs

> Googlebot が使用する IP アドレスは時々変更されます。 Googlebot のアクセスを確認する最も確実な方法は、ユーザー エージェント (Googlebot) を使用することです。

少なくともGoogleはIPアドレスは不定で、公開もされていないようです。

ログを取って経験的にIPアドレスを類推するしか無いのではないでしょうか。

id:yumekoso

えーっと・・なので、聞いております・・。

2006/06/15 23:33:26
id:orz_horie No.5

orz回答回数21ベストアンサー獲得回数52006/06/16 00:02:40

ポイント17pt

http://makegumi.jp/googlebot.txt

たとえば、以上が私が個人的に運用するwebサイトに来た"Googlebot"を名乗るアクセスです。約2年分です。

前述の理由で「yahoo、google、MSNのロボットをアクセスログから除外したい」という要件は叶えられそうにないのですが、それでもよければyahooとMSNのものもお調べしましょうか?

id:yumekoso

ありがとうございます&お願いします。

2006/06/16 09:38:26
id:todo36 No.6

todo36回答回数34ベストアンサー獲得回数52006/06/16 12:44:11

ポイント17pt

> http://makegumi.jp/googlebot.txt

whoisで調べるとNetRangeは..

64.68.80.0 - 64.68.87.255

66.249.64.0 - 66.249.95.255

http://ws.arin.net/cgi-bin/whois.pl

id:orz_horie No.7

orz回答回数21ベストアンサー獲得回数52006/06/17 02:14:26

ポイント17pt

http://makegumi.jp/blog/2006/06/httpip.html

というわけで、過去ログから類推と、登録上のIPアドレスレンジをwhoisで調べてまとめてみました。

繰り返しますが、このアドレスが必要十分な保証はどこにもありません。

↓これは消します。悪しからず。

http://makegumi.jp/googlebot.txt

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません