人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

特定のページへ定期的(数分間隔)にアクセスして、HTMLソースの内容を解析し、時々刻々変化するデータ(例:天気予報・株価・為替相場・店の混雑情報等)をデータベース化したいと考えています。PCでアクセス可能なウェブページについては既に「Webパトロール 監視&メール通知」という高機能なフリーウェアで実現できるのですが、私が今回データベース化を望んでいるのは携帯電話からでないとアクセスできないページで、User-Agentを携帯電話のブラウザ(例:私の所有機であるSoftbank 923SHなら"SoftBank/1.0/923SH/SHJ001[/Serial] Browser/NetFront/3.4 Profile/MIDP-2.0 Configuration/CLDC-1.1")に偽装する必要があると思いますが、上記のフリーウェアには偽装機能が装備されていません。
User-Agentを任意の文字列、或いは、携帯電話(機種不問)に偽装できる機能を持ったHTMLソース保存プログラムを御存知でしたらお教えいただきたく存じます。定期的なアクセス・保存、HTMLソースの解析部分については何とか自作and/or他のフリーウェアで何とかします。
何卒宜しくお願い申し上げます。
[参考] Vectorライブラリ「Webパトロール 監視&メール通知」
http://www.vector.co.jp/soft/winnt/net/se348133.html


●質問者: Silvanus
●カテゴリ:コンピュータ インターネット
✍キーワード:2.0 923SH C-1 HTML MIDP
○ 状態 :終了
└ 回答数 : 1/1件

▽最新の回答へ

1 ● TREEG
●100ポイント ベストアンサー

プログラムで自作出来るのでしたら、取得するプログラムも一緒に書いてみてはいかがでしょうか?

また、自作であればプログラム言語によって色々違いますが、通常UAは書き換えできますので何でも良いと思います。

個人的には、テキスト解析はperlの領分と思っていますので一応例を書いておきます。

.

例えば、perl(Windows 環境であればActivePerlなど)であればこのような感じになります。

取得した物をそのままテキスト解析ですね。

#----test.pl----

use LWP;

my $ua = LWP::UserAgent->new;

my $res = $ua->get(

"http://q.hatena.ne.jp/1283652996",

"User-Agent" => "DoCoMo/2.0 SH901iC(c100;TB;W24H12)",

);

open(FH,">save.html");

print FH $res->content;

close(FH);

#------------

.

ところで、少し疑問なのですが、なぜ、この質問を?と思っています。自作できるならUA付けてアクセスすれば良いだけでは?と思っています。

もし、プログラム入門者でとりあえず、プログラムは少し読めるが、ホームページの取得まではよく分からん。

という感じでしたら、手っ取り早くやりたいソフトを作るにはプログラムサンプルがたくさん載っている逆引き大全シリーズの分厚い本をお薦めしておきます。索引をざっと見て、全く知らない言語でも、必要な所を、コピペするだけで動いてくれますので、真面目にプログラムを勉強する方にはお勧めしませんが、個人でとりあえず動く物が作りたいという時にはめちゃくちゃ役に立ちました。

.

他、外部ソフトを使う物では、SYSYAはいかがでしょうか?

コマンドラインで使えますのえ自作プログラムとの組み合わせでも一番使いやすいと思います。

また、レジュームやリダイレクト、UA偽装、ページサイズやエラーコードの取得などブラウザできそうな事は大抵できるようです。

: ----test.bat----

SYSYA /J /T+5 /HU"DoCoMo/2.0 SH901iC(c100;TB;W24H12)" /GQ:\ http://q.hatena.ne.jp/1283652996"

pause

: ------------

.

なお、最近、個人製作のクローラーで逮捕者(岡崎市立中央図書館事件)が出ていますので注意して下さい。

◎質問者からの返答

早速のご回答誠に有難うございます!

正に貴殿が記されている通り「ホームページの取得まではよく分からん」状態です(苦笑)。

ご推薦の参考図書も購入したいのですが、今回は急ぎなので…。

今の私にはSYSYAを使用するのが最も手っ取り早いですが

後日ActivePerlでも挑戦してみたいと思います。

アクセス頻度は数分?10数分に1回程度なので、

岡崎市立図書館の件の様なことにはならないと思います(笑)。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ