IriaやGetHTMLなどのダウンロードツールでサイト内のファイルを丸ごと取得されることがあるのですが、これを防ぐ方法がありましたら教えて頂けないでしょうか?検索エンジンのロボットやWWWC、アンテナなどの巡回ロボットは弾きたくないと思っています。

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:2003/01/13 22:17:02
  • 終了:--

回答(3件)

id:tears No.1

tears回答回数164ベストアンサー獲得回数02003/01/13 22:32:50

ポイント20pt

http://www.yuzuriha.sakura.ne.jp/~akikan/kaigai/kaigai19.html

ユーザーエージェントによる制限 -ロボット等を弾く方法-

.htaccessを使って制限してみては?

id:shampoo

ぴったりのページですね。どうもありがとうございます。

2003/01/13 23:02:27
id:A140 No.2

A140回答回数473ベストアンサー獲得回数22003/01/13 23:00:32

ポイント15pt

http://www.ifilm.com/

SPIKE - Video, User Video, Movies, Trailers, Music and Viral Videos - SPIKE Powered By IFILM

上記サイトのようにJavaScritを上手く活用すれば

ダウンロードツールで丸ごと取得されませんよ。

id:shampoo

便利そうな方法ですね。勉強してみます。

2003/01/13 23:08:09
id:tsuki555 No.3

tsuki555回答回数209ベストアンサー獲得回数02003/01/13 23:01:41

ポイント25pt

URLは関係ありませんm(__)m。全てサーバ管理をしている経験からお答えします。

ダウンロードツールにも色々とありますが、Robots.txtやMETAタグを置いても、多くのソフトが関係なく落としていきます。

それも高速回線でドカンとやられるので、サーバ側としては大変です。下手をすると落ちますよね。

ブラウザ名ではじく、という方法もブラウザ名を変更出来るソフトの方が多いですし、残る手は数個しか無いです。

1.同一IPアドレスからのプロセス数をサーバ側で固定する。(ある程度の負荷を下げられます)

2.BASIC認証を使って特定ディレクトリにパスワードを仕掛ける。(パスワードを知っている人には無意味ですが)

3.監視ツールを入れ、同一IPアドレスからのプロセス数が一定以上になったら、一定時間アクセスを制限する。

等があげられます。しかしながら一般ユーザにも多少なりとも「犠牲」になって頂く形になります。

ファイルを取得されたくないのか、サーバへの負担を減らしたいのか、ここら辺で変わってきますね。

id:shampoo

大変わかりやすい回答どうもありがとうございます。監視ツールをいれる方法、いいですね。参考になりました。

2003/01/13 23:13:36

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません