以下のような処理をJavaで実現したいと考えています。OSSライブラリやクローラを利用して構いませんので作り方を教えてください。ピンポイントのサンプルコードを提供していただけるとポイントを上乗せ致します。


(1)Webサイトのアドレス(http://www.xxxx.xxx/index.html)を指定。
(2)指定されたHTMLを取得する。
(3)指定されたHTMLからリンクされているファイルを取得する。
(4)リンク先がHTMLの場合は、再びリンク先のファイルを取得する。
(5)上記(3)と(4)を繰り返す。

これを実現しているフリーソフトはあると思いますが、取得したタイミングで独自処理を加えたいので、自作コーディングしたいと思います。宜しく御願い致します。

回答の条件
  • URL必須
  • 1人3回まで
  • 登録:
  • 終了:2006/12/03 02:07:49
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

回答2件)

id:wm5775 No.1

回答回数351ベストアンサー獲得回数4

ポイント16pt

Javaスパイダーツールサンプル&クックブック―自動アクセス&収集・加工プログラム (単行本)

http://www.amazon.co.jp/gp/product/4798010618/sr=11-1/qid=116472...

おぼろげな記憶ですが、この本にずばりそのものが書いてあったような気がします。

#具体的なコードでなくてすみません。

id:er7

ありがとうございます!明日、本屋で覗いてみます。こういう回答でも全然okです。(もちろん、サンプルコードならもっと嬉しいですが。w)今後とも宜しく御願い致します。

2006/11/28 23:26:52
id:kazu1107 No.2

回答回数199ベストアンサー獲得回数14

ポイント83pt

ではお言葉に甘えて。。。

Javaは専門外なのでお役に立てなさそうです;

http://q.hatena.ne.jp/

  • id:er7
    >kazu1107さん
    お手数掛けます。また、宜しくお願いいたします。

    >wm5775さん
    kazu1107さんには別質問の回答ポイントが(私のミスで)不足していたので、急遽、この質問を使ってお支払しています。本質問に関する回答がwm5775さんより良かったという事ではありません。また、宜しくお願いいたします。
  • id:wm5775
    おお、なるほど。こういうこともあるのですね。
    了解致しました。

    #ところで、お役に立てたでしょうか?
  • id:er7
    返事が遅れて申し訳ございません。早速本を購入して参考にしました。ありがとうございました。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません