人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

public_html以下のどのディレクトリもGoogleの検索結果に表示されないようにするにはどうしたらよいでしょうか。


●質問者: filofax
●カテゴリ:コンピュータ インターネット
✍キーワード:Google ディレクトリ 検索
○ 状態 :終了
└ 回答数 : 5/5件

▽最新の回答へ

1 ● 黒猫
●20ポイント

ホームに robots.txt を置きましょう。

http://tech.bayashi.net/pdmemo/robots.html


たとえばこんな記述です。

User-Agent: Googlebot

Disallow: /*


google は、robots.txt の指示に従います。

◎質問者からの返答

もう少し正確に言うと、public_htmlのindex.htmlは表示されていいのですが、それ以下の/hatenaディレクトリと、それ以下のすべてのディレクトリを表示させたくないのです。お願いします。


2 ● youas
●20ポイント

User-Agent: Googlebot

Disallow: /hatena/*


これで。

って、前の人のURLをちゃんと読めばわかりますよ :)

◎質問者からの返答

それをpubloic_htmlのindex.htmlとおなじフォルダーに置けばよいのでしょうか?


3 ● ken33jp
●20ポイント

>それをpubloic_htmlのindex.htmlとおなじフォルダーに置けばよいのでしょうか?

YES


4 ● takaramonob
●20ポイント

robots.txtを無視するクローラーもあるので、robots.txtを配置するだけですと、そういった検索エンジンに掲載されてしまいます。

どこかの検索エンジンで掲載されれば、その検索結果が他の検索エンジンに掲載され、いずれはrobots.txtにしたがう検索エンジンにも載せられてしまいます。

なので、より確実性を高めるために、public_htmlへのrobots.txt配置に加えて、hatenaディレクトリへの.htaccess配置をおすすめします。

.htaccessの内容は、各検索エンジンのIPアドレスを拒絶する内容です。

例:

-----------

order deny,allow

#拒否するIPアドレス

#google

deny from 66.249.16.211

deny from 66.249.70.141

deny from 66.249.70.213

#Yahoo

deny from 68.142.212.160

deny from 68.142.212.165

deny from 68.142.212.175

deny from 68.142.212.180

deny from 68.142.212.199

deny from 68.142.212.226

deny from 68.142.212.229

#その他のIPを許可

allow from all

-----------


と、こんな感じで、検索エンジンのIPアドレスを追加していきます。

各クローラーのIPアドレスはネット上でたくさん見つけられるので検索してみてください。


5 ● youas
●20ポイント

■あなたのホームページURL

http://hogehoge.com/index.html

上記でアクセスした場合に、

■ファイルをUpする先のフォルダー構成

/public_html/index.html

が表示されるのだとしたら

index.htmlと同じところに、メモ帳で新しいファイルを作り、中に

User-Agent: *

Disallow: /hatena/*

を書いて、 robots.txt という名前で保存してアップロードすれば大丈夫です。

User-Agentを*にしたのは、GoogleだけではなくYahoo検索等も表示したくないのではないかと思い変更しました。

Googleだけなら、User-Agent: * の部分を User-Agent: Googlebot と書き換えてください。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ