人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

yahoo、google、MSNのロボットをアクセスログから除外したいのですが、IPアドレスの一覧が掲載されているサイトはないでしょうか?


●質問者: yumekoso
●カテゴリ:インターネット ウェブ制作
✍キーワード:Google IPアドレス MSN Yahoo アクセスログ
○ 状態 :終了
└ 回答数 : 7/7件

▽最新の回答へ

1 ● wen000
●18ポイント

基本的にはuser-agentにgooglebot、msnbot、Yahoo!という文字があれば除外

ということでいいかとおもいます。

IP載っているサイトがあったのでリンクします。

http://www.hyperposition.com/msn/robot.html

MSN

http://www.hyperposition.com/google/robot.html

google

http://www.hyperposition.com/yahoo/robot.html

YST

◎質問者からの返答

いや、IPアドレスなんです。

こちらの情報は新しいものでしょうかねぇ。


2 ● MoonWolf
●17ポイント

http://www.hyperposition.com/google/robot.html

とりあえずGoogleだけ

User-Agentがログに残っていれば、ロボットらしき名前を除外するようにすれば良いです。

ログに残していない場合、力技ですがIPアドレスから名前を逆引き(nslookupなど)して検索サイトのドメインからのアクセスを除外するという手があります。

◎質問者からの返答

質問にあります通り、IPが欲しいんです。


3 ● aiaina
●17ポイント

MSNの場合

IP:msnbot.msn.com

UA:msnbot/1.0

Yahooの場合

IP:*.inktomisearch.com

UA:Mozilla/5.0

Googleの場合

IP:*.Googlebot.com

UA:Mozilla/5.0

http://q.hatena.ne.jp/answer

◎質問者からの返答

質問もコメントも読んでないんですね・・。


4 ● orz
●17ポイント

http://www.google.co.jp/intl/ja/webmasters/bot.html#logs

> Googlebot が使用する IP アドレスは時々変更されます。 Googlebot のアクセスを確認する最も確実な方法は、ユーザー エージェント (Googlebot) を使用することです。

少なくともGoogleはIPアドレスは不定で、公開もされていないようです。

ログを取って経験的にIPアドレスを類推するしか無いのではないでしょうか。

◎質問者からの返答

えーっと・・なので、聞いております・・。


5 ● orz
●17ポイント

http://makegumi.jp/googlebot.txt

たとえば、以上が私が個人的に運用するwebサイトに来た"Googlebot"を名乗るアクセスです。約2年分です。

前述の理由で「yahoo、google、MSNのロボットをアクセスログから除外したい」という要件は叶えられそうにないのですが、それでもよければyahooとMSNのものもお調べしましょうか?

◎質問者からの返答

ありがとうございます&お願いします。


1-5件表示/7件
4.前の5件|次5件6.
関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ