public_html以下のどのディレクトリもGoogleの検索結果に表示されないようにするにはどうしたらよいでしょうか。

回答の条件
  • 1人2回まで
  • 登録:2008/04/24 16:48:49
  • 終了:2008/05/01 16:50:03

回答(5件)

id:KuroNeko666 No.1

黒猫回答回数144ベストアンサー獲得回数22008/04/24 16:53:23

ポイント20pt

ホームに robots.txt を置きましょう。

http://tech.bayashi.net/pdmemo/robots.html


たとえばこんな記述です。

User-Agent: Googlebot

Disallow: /*


google は、robots.txt の指示に従います。

id:filofax

もう少し正確に言うと、public_htmlのindex.htmlは表示されていいのですが、それ以下の/hatenaディレクトリと、それ以下のすべてのディレクトリを表示させたくないのです。お願いします。

2008/04/24 17:01:50
id:youas No.2

youas回答回数11ベストアンサー獲得回数32008/04/24 17:27:29

ポイント20pt

User-Agent: Googlebot

Disallow: /hatena/*


これで。

って、前の人のURLをちゃんと読めばわかりますよ :)

id:filofax

それをpubloic_htmlのindex.htmlとおなじフォルダーに置けばよいのでしょうか?

2008/04/24 17:41:10
id:ken33jp No.3

ken33jp回答回数928ベストアンサー獲得回数132008/04/24 17:57:31

ポイント20pt

>それをpubloic_htmlのindex.htmlとおなじフォルダーに置けばよいのでしょうか?

YES

id:takaramonob No.4

takaramonob回答回数77ベストアンサー獲得回数52008/04/24 18:45:22

ポイント20pt

robots.txtを無視するクローラーもあるので、robots.txtを配置するだけですと、そういった検索エンジンに掲載されてしまいます。

どこかの検索エンジンで掲載されれば、その検索結果が他の検索エンジンに掲載され、いずれはrobots.txtにしたがう検索エンジンにも載せられてしまいます。

なので、より確実性を高めるために、public_htmlへのrobots.txt配置に加えて、hatenaディレクトリへの.htaccess配置をおすすめします。

.htaccessの内容は、各検索エンジンのIPアドレスを拒絶する内容です。

例:

-----------

order deny,allow

#拒否するIPアドレス

#google

deny from 66.249.16.211

deny from 66.249.70.141

deny from 66.249.70.213

#Yahoo

deny from 68.142.212.160

deny from 68.142.212.165

deny from 68.142.212.175

deny from 68.142.212.180

deny from 68.142.212.199

deny from 68.142.212.226

deny from 68.142.212.229

#その他のIPを許可

allow from all

-----------


と、こんな感じで、検索エンジンのIPアドレスを追加していきます。

各クローラーのIPアドレスはネット上でたくさん見つけられるので検索してみてください。

id:youas No.5

youas回答回数11ベストアンサー獲得回数32008/04/24 17:59:04

ポイント20pt

■あなたのホームページURL

http://hogehoge.com/index.html

上記でアクセスした場合に、

■ファイルをUpする先のフォルダー構成

/public_html/index.html

が表示されるのだとしたら

index.htmlと同じところに、メモ帳で新しいファイルを作り、中に

  •  ここから下 -----------

User-Agent: *

Disallow: /hatena/*

  •  ここから上 -----------

を書いて、 robots.txt という名前で保存してアップロードすれば大丈夫です。

User-Agentを*にしたのは、GoogleだけではなくYahoo検索等も表示したくないのではないかと思い変更しました。

Googleだけなら、User-Agent: * の部分を User-Agent: Googlebot と書き換えてください。

コメントはまだありません

この質問への反応(ブックマークコメント)

トラックバック

  • ひさびさに人力検索の回答 最近は、できるだけコメントの中でヒントになるものを書いてたりする。 でも、コメントが開いてない場合は、回答してみたりもする。 public_html以下のどのディ
「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません