人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

PERLを使用したスクレイピングに関しての質問です。

本などでスクレイピングに関して調べているのですが、モジュールなどを詳しく解説してくれる本がなく
自分が求めている情報のスクレイピングをするにはどのモジュールを使えばよいのか教えていただいきたいです。
スクレイピングはやったとこがないもので、コードのサンプルと機能ごとの解説をお願いします。

条件は、取得した情報と画像を整理してMYSQLを使ったデータベースにいれることです。

よろしくお願いします。

●質問者: robopit
●カテゴリ:ウェブ制作 学習・教育
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● oil999
●100ポイント

スクレイピングする手法は千差万別ですが、DOMを使う方法が汎用的に使えます。
Perlですと、HTML::TreeBuilder というモジュールを導入してください。
http://search.cpan.org/~jfearn/HTML-Tree-4.2/lib/HTML/TreeBuilder.pm

具体的な使い方は下記を参照してください。
http://d.hatena.ne.jp/memememomo/20100828/1282989622


robopitさんのコメント
画像を取得し、MYSQLに入れるサンプルをお願いします。

oil999さんのコメント
MySQLへのアクセスについてはDBD/DBIモジュール群を導入します。 詳しくは下記をご覧ください。 http://tech.bayashi.net/pdmemo/perl_dbi_mysql.html 画像については、画像ファイルを適当なフォルダへダウンロードして、そのフルパス名をDBに登録すれば良いでしょう。

2 ● Craftworks
●100ポイント

Perl でスクレイピングといえば、Web::Scraper です。

サンプルなど使い方はこちらが詳しいです。
http://e8y.net/mag/013-web-scraper/


robopitさんのコメント
画像を取得し、MYSQLに入れるサンプルをお願いします。

Craftworksさんのコメント
MySQL に格納するには、DBI モジュールを遣います。 http://search.cpan.org/~timb/DBI-1.617/DBI.pm http://tech.bayashi.net/pdmemo/perl_dbi_mysql.html
関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ