極々一般的なルーター、普通の100Mの光回線でプロバイダ、ノートパソコン（Core i7）を使ってGoogleの様なスパイダーを作った場合（単一ドメインへのアクセスは1分1回など制限を設けます）、外部サイトに大量のアクセスをしますが、HTMLやPDFのみが対象ファイルの場合(文字情報しか集めない)、1分間にどの程度のアクセスまで継続して処理できる物でしょうか？

「処理」を何処まで行うかの問題になりますが、一般的なブラウジングに当てはめれば「契約されている回線の上限まで取得し続ける事ができる」という想定も可能です。

ありがとうございます。短時間のリクエスト数について一般に上限はある物なのでしょうか？
100URLほど用意して、そこからからのリンクを調べ、ドメインが異なることを確認したら、プログラム上でスレッドを作りながら一括アクセスしたいと思っています。この部分でのスレッドの数をどこまで上げるか悩んでおります。

それは、自分が管理しているPCの上限ですか？それとも、相手先のサーバーが許容する上限ですか？

せめてこれ読んで様々なケースを想定してみませう

https://it.srad.jp/story/10/05/27/0217250/

Google のクローラーなどは基本的に 1 リクエストが 15 ～ 30 秒に 1 回で、かつ If-Modified-Since 付きで送ってくれる

そうです

自分の都合だけでなく相手の都合も考えなあかん

上のコメントにも書いているのですが、100URLほど用意して、そこからからのリンクを調べ、ドメインが異なることを確認したら、プログラム上でスレッドを作りながら一括アクセスしたいと思っています。この部分でのスレッドの数をどこまで上げるか悩んでおります。岡崎事件については私も知っていますが、脆弱なサーバに1秒に1リクエストもすればDDosと言われても仕方がないかと思います。

で、読みました？

動的ページか静的ページかでも変わるとも書いてあるんですけどね

あと理論値いっぱいの100Mでダウンロードすると
1分で750Mバイトになるんだけど文字データ限定という事から
サイトが100ぽっちで足りるのかというのが疑問なんだけど

ああ違うなドメインが異なるところからしかダウンロードしないのなら質問者からにあるような
大量アクセスで相手のサーバが落ちるという事はありえないんではないだろうか
だってそのサーバには同時に1アクセスしかないんでしょ？
1度アクセスしたサーバにはアクセスしないという条件付けたテストプログラム作れば
スレッドを同時にいくつ走らせるか確認する事を誰にも迷惑かけずにできるんじゃない？

最終的にはVPSで行うと思いますがとりあえず極々一般的な家のPCでこれをする場合どの程度が上限で何がボトルネックになるのか気になっています。スパイダーを作って見た方などはてななら居るかと思って質問させて頂いています。

ボトルネックはソフトとハードが想定できるけど

ハードは通信環境の問題がまずあって
理論値最大までの速度が出るとは限らない事
それを行う時間帯によっても速度が違うだろう
うちは普通にフレッツ使ってるけどこの質問を最初に見かけた早朝で171M
でも今の時間帯は…あれ、242Mも出よったｗ
あと相手のサーバの混雑状況で速度が変わってきてこればかりはどうしようもない
それから処理した後のデータの扱い
取り込んだデータを全て保存するのか
特定のキーワードが何回出てきたのかそのカウント数のみを保存するのか
でも速度が変わってくるだろう
その他HDDかSSDかなど記憶媒体の問題もある
これらは通信でデーターを取り込む速度が
データを処理する速度を下回る場合に考えられるボルトネック

データを取り込む速度がデータを処理する速度を上回るなら
CPUの処理能力の問題かソフト面の問題かとなる
他人の手によって書かれたソースが効率的かどうかなんて他人には分からん

そんなわけでどれくらいの速度が出せるかは環境によって異なるから
自分の最適解はテストプログラム作って自分で見つけてくれ
としか言いようがないと思うよ