人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

自分のサイトのアクセス解析を見ると、
「AskJeeves」というロボットが何千回も来ています。
今のところ無害ですが、不気味なのでアクセス拒否したいです。
robots.txtは効果が無かったので
.htaccessで拒否しようと思います。
どのように記述すれば良いか教えて下さい。
ちなみに、分かっているのはAskJeevesという名前ぐらいで
IP、UAなどは分かりません。

※回答の際は、そのままコピペして使える状態でお願いします。
urlなどは不要です。

コピペしたものを置いてみて効果があればポイントはずみます。
逆に効果が無ければポイントは差し上げられませんのでよろしくお願い致します。

●質問者: eizosa
●カテゴリ:コンピュータ インターネット
✍キーワード:.htaccess IP Robots.txt UA URL
○ 状態 :終了
└ 回答数 : 5/5件

▽最新の回答へ

1 ● ilkjk
●10ポイント

Ask Jeeves自体は普通の検索エンジンのボットです

怪しいことはないです

.htaccessで拒否する場合は以下のURLを参考にIPごとはじくのが良いかも知れません(AskJeevesのIPかどうか100%確信はないですが‥)

http://willmacc.wordpress.com/bot-ips/ask-jeeves-teoma-ip-addres...

http://72.14.203.104/search?sourceid=navclient&hl=ja&ie=...


<Files *>

order allow,deny

allow from all

deny from 140.239.126.13

deny from 140.239.251.220

deny from 140.239.251.221

deny from 140.239.251.222

deny from 140.239.251.223

??

以下上記の要領でIPを一個一個 [deny from]

??

</Files>

◎質問者からの返答

いわしも拝見しました。ありがとうございます。

後ほど試してみます。


2 ● まなめ
●0ポイント

http://www.htaccesseditor.com/

こちらで作成してみるのはどうでしょう?

◎質問者からの返答

質問をお読み下さい。


3 ● mitiyon
●0ポイント

http://ask.jp/

サーチエンジン Ask.jpのクローラですね。


クロールのとめ方はこちらに書いてあります。

http://static.ask.jp/docs/help/help_siteregistered.html

◎質問者からの返答

このurlの中の

1.METAタグを使った検索結果への非表示

2.robots.txt設置による登録拒否

両方とも効果が無かったので

.htaccessで拒否したいのです。


4 ● tamtam3
●0ポイント

ロボット君はこれですね。イマイチ行儀がわるいです

http://japan.cnet.com/news/media/story/0,2000056023,20087192,00....


で、止める方法はこちら

1. METAタグを使った検索結果への非表示

検索結果から非表示にしたいページに下記のHTMLを記述してください。

<META name="robots" content="noindex, nofollow">

2. robots.txt設置による登録拒否

ウェブサイトのルートディレクトリ(一番上の階層)にrobots.txt ファイルを配置します。

(配置例:http://www.×××.co.jp/robots.txt)

以下の記述をした robots.txt ファイルをウェブサイトのルートディレクトリに配置してください。

すべてのサーチ エンジンからのクロールを拒否したい場合

User-Agent: *

Disallow: /

Ask.jp のエンジンからのクロールだけを拒否したい場合

User-Agent: Teoma

Disallow: /

User-Agent: Ask Jeeves

Disallow: /

http://static.ask.jp/docs/help/help_siteregistered.html

で、上記の処置を取ったにも拘らず検索結果が表示される場合は、お手数ですが、電子メールにてtech@mail.ask.jp宛てご連絡ください。

だそうです

◎質問者からの返答

METAタグもrobots.txtも効果がありませんでしたが

メールしたくないので

.htaccessで拒否したいです。

今のところポイントを差し上げられる可能性があるのはilkjkさんだけです。


5 ● backupper
●300ポイント

#.htaccess

#-----------------------------------------

SetEnvIf User-Agent "Ask Jeeves" BANAGENT

SetEnvIf User-Agent "Teoma" BANAGENT

Order allow,deny

Allow from all

Deny from env=BANAGENT

#-----------------------------------------

これで良いと思います。

◎質問者からの返答

おお、なんだか良さそうです。

今、試せる環境にいないので

後ほど試してみます。

---------------------------

あれからロボットが来た様子はないので

効果あったようです。

IPではじくよりこちらの方が短くてすむので、

backupper さんの方法を採用させて頂きます。

本当にありがとうございました!

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ