http://www.related-keywords.com/
上記のサイトをスクレイピングして、データを取得を試みています。
authcode=hogehogeの部分なのかpostだからか
Nokogiriやselenium webdriverなど使ってもうまく取得できませんでした。
このようなフォームの場合取得するにはどうすればいいでしょうか。
もし簡単にrubyなどでソースかいていただければ助かります・・・・・・m(_ _)m
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。
ログインして回答する
ベストアンサー
-
a-kuma3
満足500pt
Cookie に PHPSESSID が入っているので、セッションを継続できるタイプのライブラリを使うのが楽です（自前でもできなくはないですが）。
というわけで、Mechanize を使います。
ひとつ、トラップがあります。
そのページのソースの script タグをよく見てください（整形してます）。<script type="text/javascript"> ... // Google Analytics のコード $(function() { $("#gaco").val("DBSNl"); // ★ここ }); </script>
id=gaco は、name=authcode の input type=hidden の要素です。
id=gaco に設定している値は、毎回変わります。
というわけで、こんな感じのコードで取得できます。require 'mechanize' agent = Mechanize.new page = agent.get('http://www.related-keywords.com/') s = page.search('script') if /\$\(".gaco"\).val\("(.*)"\)/ =~ s[1].inner_html then f = page.form() f.field_with(:name => "authcode").value = $1 f.field_with(:name => "keyword").value = '卵' # キーワード res = agent.submit f # ここからは、検索結果のスクレイピング res.search("a").each { |link| puts link.inner_html + " : " + link.attribute("href") } end
スクリプトは UTF-8 で書いてください。
微妙なトラップを入れてるのは、「ガシガシとリクエストを飛ばしてくれるな」ということだと思いますので、その辺は察してアクセスしてください。 -
a-kuma3その他の回答
この質問へのコメント
質問の情報
- 登録日時
- 2016-04-24 17:01:12
- 終了日時
- 2016-04-29 06:06:32
- 回答条件
- 1人1回まで
この質問のカテゴリ
この質問に含まれるキーワード
人気の質問
-
自作パソコンを組みのとBTOとどちらが良いなどありますか？ ゲーム配信・動画・イラスト作成編集などする予…
nagadora
1
-
あなたは 4/30～5/2は休みですか？
tak2
-
中学3年女子です。 東野圭吾の本が好きな男子って、どんな性格だと思いますか。 （はっきり言って頭が良く…
匿名質問者2
1
1
-
一人合同会社を作るのに何日ぐらいかかりますか？(事前に下調べ完了している前提) 背景： 会社1に雇用され…
mogu2009
-
人間関係の事で相談です。 私は学生で、Aという２年間同じクラスで仲のいい友達がいます。その、Aという子…匿名質問者