googlebotからのアクセスが数時間おきに、1時間あたり5000件近くきます。アクセスログ解析がゆがめられてしまうのですが、頻度をさげたり、拒否できないものでしょうか。以下、アクセスログです。

222.122.46.205 - - [05/Jun/2006:08:40:30 +0900] "GET / HTTP/1.1" 200 90 "http://www.####.com/" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:
  • 終了:2006/06/05 17:48:52
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

ベストアンサー

id:mutsuju No.3

回答回数551ベストアンサー獲得回数35

ポイント100pt

googlebotはそんな頻度でアクセスしに来ません。

%whois -h whois.nida.or.kr 222.122.46.205

query: 222.122.46.205

# ENGLISH

KRNIC is not a ISP but a National Internet Registry similar to APNIC.

The address is allocated yet

Please contact following ISP for further information

[ ISP Organization Information ]

Org Name : Korea Telecom

Service Name : KORNET

Org Address : Jungja-dong, Bundang-gu, Sungnam-ci

Org Detail Address: 206

[ ISP IP Admin Contact Information ]

Name : IP Administrator

Phone : +82-2-3674-5708

E-Mail : abuse@kornet.net

[ ISP IP Tech Contact Information ]

Name : IP Manager

Phone : +82-2-3674-5708

E-mail : abuse@kornet.net

[ ISP Network Abuse Contact Information ]

Name : Network Abuse

Phone : 080-223-5577

E-mail : abuse@kornet.net

半島のアクセスです。IPレベルでdenyするのが適切かつ幸せになれるかと。robots.txtに何か書いてもUAすら偽装する連中ですから無視するでしょうね、きっと。

参考のようなURL

http://www.italk.ne.jp/minagawa/tech/krfilter.html

ちなみにホンモノのgooglebotのlog(対象URIは****でマスク)

crawl-66-249-72-146.googlebot.com - - [05/Jun/2006:12:31:23 +0900] "GET **** HTTP/1.1" 200 10238 "-" "Mozilla/5.0 (compatible; Googlebot/2.1;

+http://www.google.com/bot.html)"

id:loy

ありがとうございます。確かにあまりにも件数が多いなとは思っていました。

2006/06/05 17:47:32

その他の回答3件)

id:naochin No.1

回答回数170ベストアンサー獲得回数8

ポイント11pt

http://tech.bayashi.net/pdmemo/robots.html

robots.txtを設置してはいかがですか。

id:sera_yr No.2

回答回数123ベストアンサー獲得回数6

ポイント11pt

以下参考になると思います。

頻度を下げたいという場合はこちら

http://www.google.com/support/webmasters/bin/answer.py?answer=33...


拒否したい場合はこちら

http://tech.bayashi.net/pdmemo/robots.html

id:mutsuju No.3

回答回数551ベストアンサー獲得回数35ここでベストアンサー

ポイント100pt

googlebotはそんな頻度でアクセスしに来ません。

%whois -h whois.nida.or.kr 222.122.46.205

query: 222.122.46.205

# ENGLISH

KRNIC is not a ISP but a National Internet Registry similar to APNIC.

The address is allocated yet

Please contact following ISP for further information

[ ISP Organization Information ]

Org Name : Korea Telecom

Service Name : KORNET

Org Address : Jungja-dong, Bundang-gu, Sungnam-ci

Org Detail Address: 206

[ ISP IP Admin Contact Information ]

Name : IP Administrator

Phone : +82-2-3674-5708

E-Mail : abuse@kornet.net

[ ISP IP Tech Contact Information ]

Name : IP Manager

Phone : +82-2-3674-5708

E-mail : abuse@kornet.net

[ ISP Network Abuse Contact Information ]

Name : Network Abuse

Phone : 080-223-5577

E-mail : abuse@kornet.net

半島のアクセスです。IPレベルでdenyするのが適切かつ幸せになれるかと。robots.txtに何か書いてもUAすら偽装する連中ですから無視するでしょうね、きっと。

参考のようなURL

http://www.italk.ne.jp/minagawa/tech/krfilter.html

ちなみにホンモノのgooglebotのlog(対象URIは****でマスク)

crawl-66-249-72-146.googlebot.com - - [05/Jun/2006:12:31:23 +0900] "GET **** HTTP/1.1" 200 10238 "-" "Mozilla/5.0 (compatible; Googlebot/2.1;

+http://www.google.com/bot.html)"

id:loy

ありがとうございます。確かにあまりにも件数が多いなとは思っていました。

2006/06/05 17:47:32
id:aiaina No.4

回答回数8179ベストアンサー獲得回数131

ポイント11pt

ロボットにリンクをたどれなければいいので、JavaScriptを活用して、urlを分割しておいてスクリプトでくっつけて飛ぶのはどうでしょう?

またはmetaに入力しない。

または認証をかける。

http://q.hatena.ne.jp/1149484398

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません