人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

IriaやGetHTMLなどのダウンロードツールでサイト内のファイルを丸ごと取得されることがあるのですが、これを防ぐ方法がありましたら教えて頂けないでしょうか?検索エンジンのロボットやWWWC、アンテナなどの巡回ロボットは弾きたくないと思っています。

●質問者: shampoo
●カテゴリ:コンピュータ
✍キーワード:WWWC アンテナ サイト ダウンロード ファイル
○ 状態 :終了
└ 回答数 : 3/3件

▽最新の回答へ

1 ● tears
●20ポイント

http://www.yuzuriha.sakura.ne.jp/~akikan/kaigai/kaigai19.html

ユーザーエージェントによる制限 -ロボット等を弾く方法-

.htaccessを使って制限してみては?

◎質問者からの返答

ぴったりのページですね。どうもありがとうございます。


2 ● A140
●15ポイント

http://www.ifilm.com/

SPIKE - Video, User Video, Movies, Trailers, Music and Viral Videos - SPIKE Powered By IFILM

上記サイトのようにJavaScritを上手く活用すれば

ダウンロードツールで丸ごと取得されませんよ。

◎質問者からの返答

便利そうな方法ですね。勉強してみます。


3 ● tsuki555
●25ポイント

http://www.yahoo.co.jp/

Yahoo! JAPAN

URLは関係ありませんm(__)m。全てサーバ管理をしている経験からお答えします。

ダウンロードツールにも色々とありますが、Robots.txtやMETAタグを置いても、多くのソフトが関係なく落としていきます。

それも高速回線でドカンとやられるので、サーバ側としては大変です。下手をすると落ちますよね。

ブラウザ名ではじく、という方法もブラウザ名を変更出来るソフトの方が多いですし、残る手は数個しか無いです。

1.同一IPアドレスからのプロセス数をサーバ側で固定する。(ある程度の負荷を下げられます)

2.BASIC認証を使って特定ディレクトリにパスワードを仕掛ける。(パスワードを知っている人には無意味ですが)

3.監視ツールを入れ、同一IPアドレスからのプロセス数が一定以上になったら、一定時間アクセスを制限する。

等があげられます。しかしながら一般ユーザにも多少なりとも「犠牲」になって頂く形になります。

ファイルを取得されたくないのか、サーバへの負担を減らしたいのか、ここら辺で変わってきますね。

◎質問者からの返答

大変わかりやすい回答どうもありがとうございます。監視ツールをいれる方法、いいですね。参考になりました。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ