以下の条件を満たす一括ダウンロード可能なツールを探しています。


1. あるURLで指定されるページ(A)からのリンク先をまとめてダウンロードしたい
1.1 そのページ(A)はパスワード認証が必要(BASIC認証ではない)

2. ダウンロードしたいリンク先は直接リンクされていない
2.1 ページ(A)内には <a href="/where/023.html"> のように記述されている
2.2 実際にダウンロードしたいファイルは 023.htmlではなくて 023.txt
2.3 ページ内に複数のリンクがあり、\d+\.txt を全てダウンロードしたい
(/where/1.html /where/2.html があれば、 /where/1.txt /where/2.txt をダウンロードしたい)

3. Windows XPまたは Linux で動作すること

以上です。wgetやWeBoxでは不可能なことは確認しました。

回答の際は、1.1や2.2が可能であることを明示してください。そうでない回答は0点とします。

回答の条件
  • URL必須
  • 1人1回まで
  • 13歳以上
  • 登録:2012/11/16 08:05:59
  • 終了:2012/11/17 05:57:53

ベストアンサー

id:TransFreeBSD No.1

TransFreeBSD回答回数652ベストアンサー獲得回数2622012/11/16 10:33:12

ポイント300pt

ブラウザ + wget + ls + sed

  • 通常使ってるブラウザでログインし、そのcookieを --load-cookies オプションで使う
  • -r -l -A オプションを使ってまずは html の方を取得しておく
  • ls で取得した html ファイル名を得て、sed で txt に変換し wget -i オプションで取得する

ブラウザ + wget + sed

  • 通常使ってるブラウザでページ(A)をダウンロードしておく
  • sed で html を txt に変換し wget -i -F オプションで取得する

perl + WWW::Mechanize

その他の回答(1件)

id:TransFreeBSD No.1

TransFreeBSD回答回数652ベストアンサー獲得回数2622012/11/16 10:33:12ここでベストアンサー

ポイント300pt

ブラウザ + wget + ls + sed

  • 通常使ってるブラウザでログインし、そのcookieを --load-cookies オプションで使う
  • -r -l -A オプションを使ってまずは html の方を取得しておく
  • ls で取得した html ファイル名を得て、sed で txt に変換し wget -i オプションで取得する

ブラウザ + wget + sed

  • 通常使ってるブラウザでページ(A)をダウンロードしておく
  • sed で html を txt に変換し wget -i -F オプションで取得する

perl + WWW::Mechanize

id:pigmon88 No.2

pigmon88回答回数501ベストアンサー獲得回数252012/11/16 23:58:42

wgetでもできますよ。リスト指定で。http://www.google.com

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません