以下の条件を満たす一括ダウンロード可能なツールを探しています。
1. あるURLで指定されるページ（A)からのリンク先をまとめてダウンロードしたい
1.1 そのページ(A)はパスワード認証が必要(BASIC認証ではない）
2. ダウンロードしたいリンク先は直接リンクされていない
2.1 ページ(A)内には <a href="/where/023.html"> のように記述されている
2.2 実際にダウンロードしたいファイルは 023.htmlではなくて 023.txt
2.3 ページ内に複数のリンクがあり、\d+\.txt を全てダウンロードしたい
(/where/1.html /where/2.html があれば、 /where/1.txt /where/2.txt をダウンロードしたい)
3. Windows XPまたは Linux で動作すること
以上です。wgetやWeBoxでは不可能なことは確認しました。
回答の際は、1.1や2.2が可能であることを明示してください。そうでない回答は0点とします。
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。
ログインして回答する
ベストアンサー
-
TransFreeBSD
満足300pt
ブラウザ + wget + ls + sed
- 通常使ってるブラウザでログインし、そのcookieを --load-cookies オプションで使う
- -r -l -A オプションを使ってまずは html の方を取得しておく
- ls で取得した html ファイル名を得て、sed で txt に変換し wget -i オプションで取得する
ブラウザ + wget + sed
- 通常使ってるブラウザでページ(A)をダウンロードしておく
- sed で html を txt に変換し wget -i -F オプションで取得する
perl + WWW::Mechanize
- http://perldoc.jp/docs/modules/WWW-Mechanize-1.02/Mechanize.pod
- http://digit.que.ne.jp/work/index.cgi?Perl%E3%83%A2%E3%82%B8%E3%83%A5%E3%83%BC%E3%83%AB%2FWWW%3A%3AMechanize#i3
- submit_form でログイン
- find_all_links で html の方の該当 url を取得
- s///で変換
- あとはlwpなりwgetなりで
その他の回答
-
pigmon88
0pt
wgetでもできますよ。リスト指定で。http://www.google.com
この質問へのコメント
質問の情報
- 登録日時
- 2012-11-16 08:05:59
- 終了日時
- 2012-11-17 05:57:53
- 回答条件
- 回答にURL必須 1人1回まで
この質問のカテゴリ
この質問に含まれるキーワード
人気の質問
-
この英文どうなってますか？ The boy seemed to be waiting for his mother to come.（その少年は母親が来…
匿名質問者
1
1
-
不定詞の形容詞的用法らしいんですけど、副詞的用法と書いたら✖️ですか？ I want to buy a book to read …匿名質問者11
-
日向陽葵という○V女優が好きなのですが似ている○V女優はいますか匿名質問者
-
共通テストで使われるプログラミング言語は共通テスト特有の言語と聞いたのですが、受験勉強で身につけたプ…匿名質問者1
-
内定してほしいポケモンはいますか？匿名質問者