ネットで公開されている大量のHPをrobots.txtを参照して可能な限り文字データを集め分析したい。廉価な方法は？

質問の内容から推測すると、自宅のパソコンを利用する事が一番安上がりになると思います。
※1日4万件以上＝2sec/回 ですよね？

コメントありがとうございます。
自宅の次に安いとなるとどんな方法がありますかね？
リクエストについてはその程度を考えております。

値段「だけ」で考えると、このようなサービスもあるようです。
http://qiita.com/sharow/items/70d1584752322af812cc

再度コメントありがとうございます。
流石に、海外のよく分からないサイトは怖いですし、1日4万回もリクエストしたら超過料金なり規制なり掛かりそうな気がしています。

デスクトップだと「家のパソコンをつけっぱなし」は電気代がかかるので決して安くないですよ。
KAGOYAのVPSが最安じゃないでしょうか。

確かに簡単な処理にも関わらず付けっぱなしにする電気代も考えるとVPSが安そうですね
ただ、ググっていますと、さくらインターネットでは以下の記事を見つけ、考えて居る用途がどこまで高負荷なのか悩むところがあります。大した用途ではないのですが全く動かないレベルまで制限されたり、プログラムが停止させられるのは嫌ですし・・・ただKAGOYA、トラブれば気軽に辞めることができそうですし、初期費用が無料なのは良いですね。

さくらのVPSは突然制限かけられて激重になるから要注意 | GUiLZ.ORG
http://www.guilz.org/2013/03/28/%E3%81%95%E3%81%8F%E3%82%89%E3%81%AEvps%E3%81%AF%E5%88%B6%E9%99%90%E3%81%A7%E6%BF%80%E9%87%8D%E3%81%AB%E3%81%AA%E3%82%8B%E3%81%8B%E3%82%89%E8%A6%81%E6%B3%A8%E6%84%8F/