さくらのクラウドで、一台のサーバに複数IPを割り当てたのですが、ここから複数IPでクローリングするにはどうしたら良いでしょうか？
＃ちなみに、複数IPでクローリングしたいのは、TwitterのAPI制限（1分に1回とか）を少し緩和してデータを取得したいからです。5つくらいのIPなので、Twitterへの負荷は大きくないと思います。
今思いつく方法としては、仮想ホスト化？して、1台のマシンを複数のマシンとして扱って、それぞれでクロールのプログラムを走らせることです。
ただ、やりたいのはTwitterのフォローネットワークを辿っていくことで、複数のマシンでプログラムを走らせると、取得するユーザがかなり被ってくると思われるので、別の方法があればそうしたいです（適切に分散処理してやれば良いのでしょうが）。
例えば、走らせるのは一つのプログラムなんだけど、クローリングするときに、プールしてあるIPを毎回変えながらデータを取得するとかできないのでしょうか。
宜しくお願い致します。
ログインして回答する
みんなの回答
-
匿名回答2号
簡単ですよ
ソケットに毎回違うアドレスをbindするだけです
"socket bind 接続元アドレス"で検索してみてください -
この質問へのコメント
質問の情報
- 登録日時
- 2017-09-20 20:59:06
- 終了日時
- 2017-09-27 21:00:06
- 回答条件
- 1人5回まで
この質問のカテゴリ
この質問に含まれるキーワード
人気の質問
-
同じような体験をしたことがある人はいますか？。 ある日、お葬式の職業に就きたいなあなんて話題にしてい…
匿名質問者
1
-
１９８４年から１９９０年ぐらいの間に、多分コミックボンボンに掲載されていた漫画を教えてください。 主…匿名質問者
2
-
https://hikky-mura.org/t/topic/2523/7 でsma200さんという方に戸塚ヨットスクールを勧められましたが、僕…
hayakushinene
1
-
いつも大変お世話になっています。 アスペルガー精神3級独身会社員34歳男です。 最近心身共に疲れがもの凄…hayakushinene12
-
私の彼氏は毒親育ちで、うつ病を患い、家を追い出された後ホームレスになって、現在は何故か逮捕されて留置…匿名質問者1
同一IPで複数のAPIキーでクロールするのって制限かからないんですかね。
ちょっと試してみたいと思います！