32もっと見る

100pt

ウェブ制作学習・教育

PERLのスクレイピングに関しての質問です。

Web::Scraperを使用して指定したところから情報をとることはわかるのですが

たとえば、tebleのtｈのテキスト部分が○○の場合
その下のtdの部分からテキストの部分を取り出す

みたいな指定をしたいのですが
Web::Scraperで可能でしょうか？

可能でしたら指定の仕方を
ダメでしたら、他のやり方を教えていただければと思います。

回答の条件

1人5回まで
13歳以上

登録：2012/04/13 14:53:42
終了：2012/04/15 03:36:41

No.1

Cherenkov15034932012/04/14 02:25:25

100pt

ケースバイケースなのでHTMLを提示したほうが質問者回答者双方楽になります。
適当（精一杯）ですが、、
1回目のscrapeはtableのhtml（キャッシュしておいて2回アクセスするのを避ける）とthの集合を取得。
thの中から任意の文字列にマッチする要素の順番を取得。
さっきのhtmlをscrape対象にして、thと同じ順番のtdを取得。

use strict;
use warnings;
use Web::Scraper;
use Data::Dumper;

my $html_content = <<"EOT";
<!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8">
  </head>
  <body>
    <table align="center" border="4" width="250">
      <tr bgcolor="#cccccc">
        <th>
          <br>
        </th>
        <th>列-A</th>
        <th>列-B</th>
        <th>列-C</th>
      </tr>
      <tr align="center">
        <td>行-1</td>
        <td>A1</td>
        <td>B1</td>
        <td>C1</td>
      </tr>
      <tr align="center">
        <td>行-2</td>
        <td>A2</td>
        <td>B2</td>
        <td>C2</td>
      </tr>
      <tr align="center">
        <td>行-3</td>
        <td>A3</td>
        <td>B3</td>
        <td>C3</td>
      </tr>
    </table>
  </body>
</html>
EOT

my $res = scraper {
  process '/html/body/table', 'table[]' => 'HTML';
  process '/html/body/table//th', 'th[]' => 'TEXT';
}->scrape($html_content); #URLに変える

my $th_position;
for (my $i=0; $i < $res->{th}; $i++ ) {
  if ($res->{th}[$i] eq "列-B") {
    $th_position = $i;
    last;
  }
}

my $table_html = $res->{table}[0];

my $res2 = scraper {
  process '//td[' . ($th_position + 1) . ']', 'td[]' => 'TEXT'
}->scrape($table_html);
print Dumper $res2;

結果

他14件のコメントを見る

回答ありがとうございます。
色々と試してみたのですがInvalid [] rangeというメッセージしかでてきません
正規化関係みたいなのですが、どこが問題なのでしょうか？

2012/04/14 14:30:30

"色々"と対象のHTMLがわからないので答えようがないです。

2012/04/14 20:04:06

すいません
エラーの件ですがUSEの設定が悪かったようです。
ただ、これを実行するとCPUが１００％になって数分放置しても終了しないのですが
こちらのPCが原因なんでしょうか？

2012/04/14 22:48:18

回答したコードでCPU100%になるのですか？

2012/04/15 01:11:03

上記のコードをそのままだと問題なく機能するのですが
URLなどをいじってみるとそうなりました。

forループのところで問題が起こっているようなのですが（個別で機能させてみたところそこ以外は普通に機能していました）何が原因かはわかりません。

2012/04/15 01:36:56

コードを貼っておきます
https://gist.github.com/29de1f3e6fa26dcd3cff

2012/04/15 01:37:10

回答したコードのままで対象サイトのthを取りに行くと"Japanese"だけではマッチしませんよ。具体的にどれとどの値を取得したいのでしょうか。

2012/04/15 01:53:31

ｔｈにJapaneseが含まれている場合ｔｄを部分を抜き出すというイメージです
複数はダメということなんでしょうか？
この場合Japanese（感じ）とJapanese（カナ）です。

2012/04/15 02:29:48

https://gist.github.com/af4ec2c95b06bd09792b
どうでしょう。16進を読みやすい形にする方法はわかりません。

2012/04/15 02:51:02

この文字列は16進というなんですね。
なぜこのような表示になるんでしょうか？」

2012/04/15 02:58:38

更新しました。
適当にやったらできたレベルなのでなぜかは答えられません…。

2012/04/15 03:10:05

（tdではなくspanです）

2012/04/15 03:10:53

XPathの学習に関して。
「XPath使いのための日本語チートシート http://aoproj.web.fc2.com/xpath/ 」
ここの上にあるPDFが大変良くできているので50回位見れば使えるようになります。

Firefoxのfirebugコンソールで以下のようなコードでマッチするか試すといいですよ。
var r = document.evaluate('//span[@lang="ja"]', document, null, 7, null);
for (var i=0, l=r.snapshotLength; i<l; i++) {
console.log(r.snapshotItem(i))
}

2012/04/15 03:23:42

Xpathのシートありがとうございます。
もっとXpathを勉強したいと思います。
ありがとうございました。

2012/04/15 03:35:58

XPathは軸をどうするかによって書き方が全然違ってきます。
効果的な軸を決めるには（Firebugを使って）観察です。
次に質問する際は初めからHTMLを提示していただけるとありがたいです。早く解決に結びつきます。

2012/04/15 03:51:42

ありがとうございます。
今後はそうしたいと思います。

2012/04/15 22:02:52