ネットで公開されている大量のHPをrobots.txtを参照して可能な限り文字データを集め分析したい。廉価な方法は?
具体的には、blogなどのHPから特定の単語を見つけカウントするものです。
例えば「はてな」という単語が発見できたら、その単語を日付と共にカウントする感じです。
保存する容量は大したことがありませんがアクセス数が膨大で1日4万アクセス以上を考えて居ます。
家のパソコンを付けっぱなしが一番安いと思いますが、他に良い方法はありますか?
VPS(さくら)であれば685円ですし、この辺りが最安でしょうかね?
また、速度は気にしませんしSSDすら勿体なくもっと安い方法はありますでしょうか?