自動的にWebサイトのデータを保存する方法を教えてください




・対象

■ケータイサイト
→User-Agent偽装必須
→IPアドレス制限無し,偽装すればPCからアクセス可

■リンクが引数
→リンク(html) http://web.net/ind?101
→画像(GIFかJpeg) http://web.net/dt?101



ここら辺のソフトを使えばできるのかなぁと

Proxomitron
Firemobilesimulator
i-mode HTML Simulator II
GETHTMLW
Irvine



※補足※

・サーバ会社、サイト運営者に、データを自動的にダウンロードすることの了解を得ています
(なので、自分の環境のIPアドレスを許可済み)

・このケータイサイトのシステムを開発している会社にも了解を得ています
HTMLなどをエクスポートして渡すことがレギュレーションとしてできない為
「がんばって」ダウンロードしないといけない状況

回答の条件
  • 1人10回まで
  • 登録:2010/10/17 23:09:05
  • 終了:2010/10/24 23:10:05

ベストアンサー

id:monyot No.1

monyo回答回数146ベストアンサー獲得回数182010/10/18 00:23:04

ポイント35pt

wget コマンドではダメでしょうか。

User-Agent偽装は、-U オプションで可能です。

サイトのトップを

wget -m -r -U エージェント名 http://web.net/

のように指定すれば、後はそれ以下にある各種コンテンツをリンクをたどってダウンロードしてくれます。

http://itpro.nikkeibp.co.jp/article/COLUMN/20070424/269401/

http://yakinikunotare.boo.jp/orebase/index.php?wget%A1%CAWindows...

その他の回答(1件)

id:monyot No.1

monyo回答回数146ベストアンサー獲得回数182010/10/18 00:23:04ここでベストアンサー

ポイント35pt

wget コマンドではダメでしょうか。

User-Agent偽装は、-U オプションで可能です。

サイトのトップを

wget -m -r -U エージェント名 http://web.net/

のように指定すれば、後はそれ以下にある各種コンテンツをリンクをたどってダウンロードしてくれます。

http://itpro.nikkeibp.co.jp/article/COLUMN/20070424/269401/

http://yakinikunotare.boo.jp/orebase/index.php?wget%A1%CAWindows...

id:k-tan2 No.2

k-tan2回答回数401ベストアンサー獲得回数482010/10/18 19:16:08

ポイント35pt

FireFoxで

・user agent switcher

・ScrapBook

http://weekly.ascii.jp/elem/000/000/021/21648/

を使うと簡単にできます。

ただし、リンクが張ってないものに関しては保存できません。

URLが明示的に決まってるのなら

WEB巡回ツール系の保存ツールを使うと便利です。

  • id:ken3memo
    もし、ツールの連携がうまくいかなくて、自作でプログラムを組むなら
    http://d.hatena.ne.jp/language_and_engineering/20100914/p1
    ↑ここが参考になるのでは。
    ※ツールで動く/動かした 回答が付くと思うので、コメントで失礼します。
  • id:lovezombie
    ご回答ありがとうございました。
    回答の早かった monyot 様をいるか賞に設定させて頂きます。
    (最も早かったのは ken3memo 様でしたが、コメント扱いだった為、いるか賞に選ぶことが出来ませんでした)

    最終的には、
    Website Explorer という「リンクを追跡しウェブサイトをまるごと保存するソフト」を使いました。
    ケータイ偽装には、Proxomitron を使いました。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません