人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

robots.txtでクロール禁止設定しているディレクトリのphpファイルに、googleのクローラと
思わしきドメインからアクセスがありました。(アクセスログを確認しました)

robots.txtでクロール禁止していても、クローラからアクセスされるものなのでしょうか?
お手数おかけしますが、宜しくお願い致します。

◆アクセスのあったドメイン
google-proxy-64-233-172-222.google.com
rate-limited-proxy-72-14-199-175.google.com

●質問者: misaex
●カテゴリ:ウェブ制作
○ 状態 :終了
└ 回答数 : 1/1件

▽最新の回答へ

質問者から

・ルーティング設定はされていません
・ディレクトリへのアクセスで実行されるindex.phpなどではありません
(アクセスされたURLはファイル名まで指定されていました)


1 ● quintia
●200ポイント ベストアンサー

http://jp.techcrunch.com/2013/03/06/20130305chrome-beta-for-android-gets-support-for-experimental-data-compression-on-googles-servers-reduces-data-usage-by-50/
http://scrap.php.xdomain.jp/google_chrome_data_compressor/
GoogleのProxy経由で(人間が)アクセスしているもので、クローラではないと思いますよ。


misaexさんのコメント
quintiaさん、ありがとうございます! 助かりました。 Androidで、chrome設定を変更する事でgoogleのproxyを使って アクセスできるという事ですよね。 Androidを持ってない為、試しにやってみること出来ず 申し訳ないのですが、勉強になりました! a-kuma3さんも、星つけていただきありがとうございました。

misaexさんのコメント
iphoneにchrome入れても同じこと出来ました。 下記ドメインでアクセスできた事が確認できました。 google-proxy-66-249-82-243.google.com rate-limited-proxyは携帯検索用のgoogle botですね。 http://blogs.yahoo.co.jp/noooo_spam/57087493.html http://oshiete.goo.ne.jp/qa/5852107.html
関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ