人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

極々一般的なルーター、普通の100Mの光回線でプロバイダ、ノートパソコン(Core i7)を使ってGoogleの様なスパイダーを作った場合(単一ドメインへのアクセスは1分1回など制限を設けます)、外部サイトに大量のアクセスをしますが、HTMLやPDFのみが対象ファイルの場合(文字情報しか集めない)、1分間にどの程度のアクセスまで継続して処理できる物でしょうか?

具体的には、まず始めに100URLほど用意して、そこからからのリンクを調べ、ドメインが異なることを確認したら、プログラム上でスレッドを作りながら一括アクセスしたいと思っています。この部分でのスレッドの数をどこまで上げるかで悩んでおります。

●質問者: 匿名質問者
●カテゴリ:インターネット
○ 状態 :キャンセル
└ 回答数 : 0/0件

▽最新の回答へ

質問者から

どこがボトルネックなのかよく分からないのです。テストするにもどの程度の数を設定するのが適切か。また、大量アクセスでうっかりプロバイダのサーバを落とすと偉いことになりますし気軽にテストするわけにもいきませんし・・・


関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ