robots.txtでクロール禁止設定しているディレクトリのphpファイルに、googleのクローラと

思わしきドメインからアクセスがありました。(アクセスログを確認しました)

robots.txtでクロール禁止していても、クローラからアクセスされるものなのでしょうか?
お手数おかけしますが、宜しくお願い致します。

◆アクセスのあったドメイン
google-proxy-64-233-172-222.google.com
rate-limited-proxy-72-14-199-175.google.com

回答の条件
  • 1人1回まで
  • 13歳以上
  • 登録:2016/01/12 20:56:35
  • 終了:2016/01/13 23:29:50
id:misaex

・ルーティング設定はされていません
・ディレクトリへのアクセスで実行されるindex.phpなどではありません
 (アクセスされたURLはファイル名まで指定されていました)

ベストアンサー

id:quintia No.1

quintia回答回数554ベストアンサー獲得回数662016/01/12 22:19:52

id:misaex

quintiaさん、ありがとうございます!
助かりました。

Androidで、chrome設定を変更する事でgoogleのproxyを使って
アクセスできるという事ですよね。

Androidを持ってない為、試しにやってみること出来ず
申し訳ないのですが、勉強になりました!

a-kuma3さんも、星つけていただきありがとうございました。

2016/01/13 23:29:17
id:misaex

iphoneにchrome入れても同じこと出来ました。
下記ドメインでアクセスできた事が確認できました。

google-proxy-66-249-82-243.google.com

rate-limited-proxyは携帯検索用のgoogle botですね。
http://blogs.yahoo.co.jp/noooo_spam/57087493.html
http://oshiete.goo.ne.jp/qa/5852107.html

2016/01/13 23:52:55

その他の回答(0件)

id:quintia No.1

quintia回答回数554ベストアンサー獲得回数662016/01/12 22:19:52ここでベストアンサー

id:misaex

quintiaさん、ありがとうございます!
助かりました。

Androidで、chrome設定を変更する事でgoogleのproxyを使って
アクセスできるという事ですよね。

Androidを持ってない為、試しにやってみること出来ず
申し訳ないのですが、勉強になりました!

a-kuma3さんも、星つけていただきありがとうございました。

2016/01/13 23:29:17
id:misaex

iphoneにchrome入れても同じこと出来ました。
下記ドメインでアクセスできた事が確認できました。

google-proxy-66-249-82-243.google.com

rate-limited-proxyは携帯検索用のgoogle botですね。
http://blogs.yahoo.co.jp/noooo_spam/57087493.html
http://oshiete.goo.ne.jp/qa/5852107.html

2016/01/13 23:52:55
  • id:psne
    Search Consoleの「robots.txt テスター」にて正しく設定されているか確認されましたか?
  • id:misaex
    ありがとうございます。
    指摘いただき、助かります。

    robots.txtテスターで確認しましたが、エラーなく
    該当のphpが置かれているディレクトリも「ブロック済」と出ましたので
    正しく設定されていると思います。
  • id:portal18
    Chromeのプロキシーもさけるなら、httpsにするのもありかもしれません。
    それか、 Cache-Control: no-transform ヘッダーを送信で、一部分をさけることもできます。
  • id:misaex
    ご回答いただきありがとうございます。

    お返事遅くなってしまい申し訳ありません!
    なるほど、httpsにすることでプロキシーを防げるのですね。


    色々勉強になります。
    試してみようと思います。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません