匿名質問者
匿名質問者匿名質問者とは「匿名質問」を利用して質問した質問者。
「匿名質問」では、ユーザー名を公開せずに匿名の質問ができます。
詳しくはこちら

ネットで公開されている大量のHPをrobots.txtを参照して可能な限り文字データを集め分析したい。廉価な方法は?

具体的には、blogなどのHPから特定の単語を見つけカウントするものです。
例えば「はてな」という単語が発見できたら、その単語を日付と共にカウントする感じです。
保存する容量は大したことがありませんがアクセス数が膨大で1日4万アクセス以上を考えて居ます。
家のパソコンを付けっぱなしが一番安いと思いますが、他に良い方法はありますか?
VPS(さくら)であれば685円ですし、この辺りが最安でしょうかね?
また、速度は気にしませんしSSDすら勿体なくもっと安い方法はありますでしょうか?

回答の条件
  • 1人5回まで
  • 13歳以上
  • 登録:2017/04/13 20:44:22
  • 終了:2017/04/20 20:45:03

回答(0件)

回答はまだありません

  • 匿名回答1号
    匿名回答1号 2017/04/13 21:17:36
    質問の内容から推測すると、自宅のパソコンを利用する事が一番安上がりになると思います。
    ※1日4万件以上=2sec/回 ですよね?
  • 匿名質問者
    匿名質問者 2017/04/13 21:29:22
    コメントありがとうございます。
    自宅の次に安いとなるとどんな方法がありますかね?
    リクエストについてはその程度を考えております。
  • 匿名回答1号
    匿名回答1号 2017/04/13 21:56:26
    値段「だけ」で考えると、このようなサービスもあるようです。
    http://qiita.com/sharow/items/70d1584752322af812cc
  • 匿名質問者
    匿名質問者 2017/04/13 23:08:11
    再度コメントありがとうございます。
    流石に、海外のよく分からないサイトは怖いですし、1日4万回もリクエストしたら超過料金なり規制なり掛かりそうな気がしています。
  • 匿名回答2号
    匿名回答2号 2017/04/16 00:15:14
    デスクトップだと「家のパソコンをつけっぱなし」は電気代がかかるので決して安くないですよ。
    KAGOYAのVPSが最安じゃないでしょうか。
  • 匿名質問者
    匿名質問者 2017/04/16 11:42:19
    確かに簡単な処理にも関わらず付けっぱなしにする電気代も考えるとVPSが安そうですね
    ただ、ググっていますと、さくらインターネットでは以下の記事を見つけ、考えて居る用途がどこまで高負荷なのか悩むところがあります。大した用途ではないのですが全く動かないレベルまで制限されたり、プログラムが停止させられるのは嫌ですし・・・ただKAGOYA、トラブれば気軽に辞めることができそうですし、初期費用が無料なのは良いですね。

    さくらのVPSは突然制限かけられて激重になるから要注意 | GUiLZ.ORG
    http://www.guilz.org/2013/03/28/%E3%81%95%E3%81%8F%E3%82%89%E3%81%AEvps%E3%81%AF%E5%88%B6%E9%99%90%E3%81%A7%E6%BF%80%E9%87%8D%E3%81%AB%E3%81%AA%E3%82%8B%E3%81%8B%E3%82%89%E8%A6%81%E6%B3%A8%E6%84%8F/

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません