ネットで公開されている大量のHPをrobots.txtを参照して可能な限り文字データを集め分析したい。廉価な方法は？
具体的には、blogなどのHPから特定の単語を見つけカウントするものです。
例えば「はてな」という単語が発見できたら、その単語を日付と共にカウントする感じです。
保存する容量は大したことがありませんがアクセス数が膨大で1日4万アクセス以上を考えて居ます。
家のパソコンを付けっぱなしが一番安いと思いますが、他に良い方法はありますか？
VPS（さくら）であれば685円ですし、この辺りが最安でしょうかね？
また、速度は気にしませんしSSDすら勿体なくもっと安い方法はありますでしょうか？
ログインして回答する
この質問へのコメント
質問の情報
- 登録日時
- 2017-04-13 20:44:22
- 終了日時
- 2017-04-20 20:45:03
- 回答条件
- 1人5回まで
この質問のカテゴリ
この質問に含まれるキーワード
人気の質問
-
音楽のドレミですが、ドイツでは、ABCです（アーベーツェー）。英米でも、ABC（エービーシー）です。イタリ…
匿名質問者
-
こんなものありますか？ ダイソーの「吊り下げワイシャツ収納」みたいなもの。これは、入れるところが、５…匿名質問者
-
【次の予想は定理か】位数３の体上のn次元ベクトル空間に於いて、その零でない相異なる(n+1)個の元の組Vを{…
くろょ
-
英語等の先生など外国語の指導者の方、また、帰国子女の方、お伺いさせてください。外国語は外国語として理…匿名質問者
-
再帰動詞と代名動詞は、おなじですか？ フランス語では違うけれど、スペイン語やイタリア語では同じ？とい…匿名質問者
※1日4万件以上＝2sec/回 ですよね？
自宅の次に安いとなるとどんな方法がありますかね？
リクエストについてはその程度を考えております。
http://qiita.com/sharow/items/70d1584752322af812cc
流石に、海外のよく分からないサイトは怖いですし、1日4万回もリクエストしたら超過料金なり規制なり掛かりそうな気がしています。
KAGOYAのVPSが最安じゃないでしょうか。
ただ、ググっていますと、さくらインターネットでは以下の記事を見つけ、考えて居る用途がどこまで高負荷なのか悩むところがあります。大した用途ではないのですが全く動かないレベルまで制限されたり、プログラムが停止させられるのは嫌ですし・・・ただKAGOYA、トラブれば気軽に辞めることができそうですし、初期費用が無料なのは良いですね。
さくらのVPSは突然制限かけられて激重になるから要注意 | GUiLZ.ORG
http://www.guilz.org/2013/03/28/%E3%81%95%E3%81%8F%E3%82%89%E3%81%AEvps%E3%81%AF%E5%88%B6%E9%99%90%E3%81%A7%E6%BF%80%E9%87%8D%E3%81%AB%E3%81%AA%E3%82%8B%E3%81%8B%E3%82%89%E8%A6%81%E6%B3%A8%E6%84%8F/