特定のページへ定期的(数分間隔)にアクセスして、HTMLソースの内容を解析し、時々刻々変化するデータ(例:天気予報・株価・為替相場・店の混雑情報等)をデータベース化したいと考えています。PCでアクセス可能なウェブページについては既に「Webパトロール 監視&メール通知」という高機能なフリーウェアで実現できるのですが、私が今回データベース化を望んでいるのは携帯電話からでないとアクセスできないページで、User-Agentを携帯電話のブラウザ(例:私の所有機であるSoftbank 923SHなら"SoftBank/1.0/923SH/SHJ001[/Serial] Browser/NetFront/3.4 Profile/MIDP-2.0 Configuration/CLDC-1.1")に偽装する必要があると思いますが、上記のフリーウェアには偽装機能が装備されていません。

プログラムで自作出来るのでしたら、取得するプログラムも一緒に書いてみてはいかがでしょうか？

また、自作であればプログラム言語によって色々違いますが、通常UAは書き換えできますので何でも良いと思います。

個人的には、テキスト解析はperlの領分と思っていますので一応例を書いておきます。

.

例えば、perl(Windows 環境であればActivePerlなど)であればこのような感じになります。

取得した物をそのままテキスト解析ですね。

#----test.pl----

use LWP;

my $ua = LWP::UserAgent->new;

my $res = $ua->get(

"http://q.hatena.ne.jp/1283652996",

"User-Agent" => "DoCoMo/2.0 SH901iC(c100;TB;W24H12)",

);

open(FH,">save.html");

print FH $res->content;

close(FH);

#------------

.

ところで、少し疑問なのですが、なぜ、この質問を？と思っています。自作できるならUA付けてアクセスすれば良いだけでは？と思っています。

もし、プログラム入門者でとりあえず、プログラムは少し読めるが、ホームページの取得まではよく分からん。

という感じでしたら、手っ取り早くやりたいソフトを作るにはプログラムサンプルがたくさん載っている逆引き大全シリーズの分厚い本をお薦めしておきます。索引をざっと見て、全く知らない言語でも、必要な所を、コピペするだけで動いてくれますので、真面目にプログラムを勉強する方にはお勧めしませんが、個人でとりあえず動く物が作りたいという時にはめちゃくちゃ役に立ちました。

.

他、外部ソフトを使う物では、SYSYAはいかがでしょうか？

コマンドラインで使えますのえ自作プログラムとの組み合わせでも一番使いやすいと思います。

また、レジュームやリダイレクト、UA偽装、ページサイズやエラーコードの取得などブラウザできそうな事は大抵できるようです。

: ----test.bat----

SYSYA /J /T+5 /HU"DoCoMo/2.0 SH901iC(c100;TB;W24H12)" /GQ:\ http://q.hatena.ne.jp/1283652996"

pause

: ------------

.

なお、最近、個人製作のクローラーで逮捕者（岡崎市立中央図書館事件）が出ていますので注意して下さい。