人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

サイトをロボットエンジンに引っかからない方法を教えてください

●質問者: makocan
●カテゴリ:科学・統計資料
○ 状態 :終了
└ 回答数 : 5/5件

▽最新の回答へ

1 ● きゃづみぃ
●20ポイント

http://lhsp.s206.xrea.com/misc/meta-robots.html


2 ● holoholobird
●20ポイント

以下をheadに入れて完了です。

<meta name="robots" content="noindex,nofollow"> 

3 ● a-kuma3
●20ポイント

サイトを丸ごと、巡回の対象にしたくないのであれば、robots.txt を使う方が良いと思います。
http://info.search.yahoo.co.jp/archives/002849.php

公開しているディレクトリの直下に置いた robots.txt という名前のファイルひとつで、サイト全体のコントロールができます。

このファイルによる設定を使うと、Yahoo の巡回は拒否するが、Google は許可するとか、
あるディレクトリの下だけは巡回を許すといった、細かな指定もできます。


4 ● ラフティング
●20ポイント

Basic認証でも可能です。

Web制作なんかでテストサイトを作成する場合などは、robots.txt を後々削除し忘れたりしないようにご用心ください。

以前に、実際に相談を受けた際(半年以上インデックス化されていない)に、調べてみたら、robots.txtが残っていたなんて笑えない話が実際にありましたw


5 ● ラフティング
●20ポイント

Basic認証により「検索ボット」が排除されれば、結果的に「検索回避」になるということです。

要は、目的に対する手段です。

制作時に、クライアントへは「認証」をかまして確認をとっていただいているのであれば、「検索ボット」は排除できているので、わざわざrobotsで制御しておく必要もなくなります。

関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ