「Robots.txt」に関連する質問
関連するキーワードで絞り込む
質問一覧
-
Google広告クローラエラーの「ホスティングの問題: サーバーの過負荷」という表示が現れました。 はてなブ…
samhole
1
1
100pt
-
ネットで公開されている大量のHPをrobots.txtを参照して可能な限り文字データを集め分析したい。廉価な方法…
匿名質問者
61
-
robots.txtでクロール禁止設定しているディレクトリのphpファイルに、googleのクローラと 思わしきドメイン…
misaex14200pt
-
下記の機能を有する静的ジェネレーターはあるでしょうか？ 1. 生成したファイル一式をレンタルサーバーに直…匿名質問者
-
比較サイトの運営サポートをしているのですが、その一部をカスタマイズして法人用として利用いただく際の質…匿名質問者
-
ホームページをgoogleウェブマスターツールに登録しています。 サイトにエラーがあった(404)ため、robots.t…
salvatore2100pt
-
私の会社は複数のドメイン、ホームページを持っています。 会社概要などがどうしても同じような内容になり…
RX7FD3S1100pt
-
検索したことばが既に削除されているページのインデックスがGoogleから削除されるにはどれくらいかかります…
stakayuki01232
100pt
-
トップページだけインデックスされない。前回の質問はこちらです。 http://q.hatena.ne.jp/1291863156 ある…
hamazakianimaru4250pt
-
ホームページの大規模に変更のため1ヶ月以上も今までのページを表示できません。 とりあえず、連絡先のみ表…
TREEG2250pt
-
robots.txtで動的ページへのアクセスを拒否する書き方を教えてください。 ロボットが無用な動的ページにア…
nijinohasi1350pt
-
robots.txtに関する質問です。 index.html(ルートディレクトリ) .....|__aaa ..............|__bbb .......…
japanski250pt
-
phpで日報系のプログラムを書きました。 URLを叩くとプログラムが動いてメール配信します。 cronで定期的に…
にらたま2150pt
-
Apache の error_log に File does not exist: /var/www/_vti_bin File does not exist: /var/www/MSOffice…
まきのっぴ450pt
-
アクセス制御の質問です。 うちのサーバにはドメインが２種類用意してあります。 http://www.hogehoge1.com…
skypoo4150pt
-
自分のサイトのアクセス解析を見ると、 「AskJeeves」というロボットが何千回も来ています。 今のところ無…
eizosa53650pt
-
ある飲食店で嫌な思いをした事をブログに書いてしまいました。 数日ぶりに自分のブログを開いたら「そこっ…
yukibokko824
150pt
-
【RSS】 ウェブサイトのRSSについて質問です。 ファイル名がサイトによって、まちまちですが、 /index.rdf …
PEPOTA6350pt
-
【緊急】検索サイトのキャッシュを消す方法について。 自分のサイトに乗せてはまずいものが乗っているのに…
iiiiiiiii6150pt
-
.htaccess に AddHandler cgi-script txt とすると、Googlebot などが robots.txt を読めない（ステータス…
kiyoshi917160pt