ご経験のある方は、効果や注意点等について教えていただけると幸いです。
robots.txtに
Disallow:ブロックするディレクトリ
User-Agent:*
で半年程運用していますが、大手の検索エンジンはきませんが
たまにベンチャー企業などで研究中の検索エンジンからのアクセスログは残っています。
また、最近は中国の百度もありますので
アクセスログを見て少しづつUser-Agentに追加していくか
検索エンジン以外に他の人にも見せたくない場合は
.htaccessでbasic認証をかけてしまえばいいと思います。
robots.txtに
Disallow:ブロックするディレクトリ
User-Agent:*
で半年程運用していますが、大手の検索エンジンはきませんが
たまにベンチャー企業などで研究中の検索エンジンからのアクセスログは残っています。
また、最近は中国の百度もありますので
アクセスログを見て少しづつUser-Agentに追加していくか
検索エンジン以外に他の人にも見せたくない場合は
.htaccessでbasic認証をかけてしまえばいいと思います。
バーチャルドメインで、その名前で逆引きできないサーバーに構築したサイトを持っています。
どこのサイトへもリンクを張っておらず、どこからもリンクされていないので、未だにどのサーチエンジンでもヒットしません。
当然アクセスは自分でアクセスした分しかありません。
開設してから10年経過しています。
参考になりました。
みなさまありがとうございました。