人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

yahooニュースのコメントをプログラムから取得する方法を見つけるまでの
過程を教えて下さい。

どうやってそのやり方を見つけたのか教えて下さい。
・最初にソースコードを読んだ
・ファイル名でなんとなくわかった
・デバッガを使った
など

●質問者: mijuswa
●カテゴリ:ウェブ制作
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● oil999
●5ポイント
  1. プログラム言語を決める。取得したコメントをテキストファイルに保存するだけあれば、Excelマクロ(VBA)やWSH(VBScript)でも可能。
  2. Yahoo!ニュースのHTMLコンテンツを解析する。コメント領域の目印(キーワード、タグなど)を確定する。
  3. 1で選んだプログラミング言語で開発する。

【参考】<BODY>部のHTMLを取得する

http://www.happy2-island.com/vbs/cafe02/capter00707.shtml


2 ● a-kuma3
●95ポイント ベストアンサー
  1. 「yahoo ニュース コメント 抽出」で、Google 検索。
  2. (これを書いている時点で)三番目に「Yahoo!ニュースのコメントをJavaScriptから取得する方法」というのが見つかる
  3. Yahoo! ニュースで、コメントのあるページを探す(コメント数のランキングがあった)
  4. ブラウザのアドレスバーから、試しにやってみる
  5. JSONP で取得できることが確認できたので、javascript でやろうか、別の言語を使おうか、ちょっと考える
  6. ちょっと気になったので、コメントの辺りを右クリックして、「要素の調査」でページの情報を見る(使ってるのは、Firefox)
  7. コメントが、cptComment というクラスを持つ ul がひとつのかたまりで、書き込み内容は bd というクラスを持つ li 要素なのだ、ということが分かる
  8. やっぱり、JSONP で取得した方が簡単だよなあ、と思うけど、Bookmarklet というのもありかなあ、と思う


というような感じです(ぼくの場合)。


a-kuma3さんのコメント
>> >>「yahoo ニュース コメント 抽出」で、Google 検索。 これやらないでわかりますでしょうか? << ぼくが回答した手順の 6. から入れば、一応検索は使ってない(No.1 の答えと、ほぼ一緒の手順だけど)。 質問の背景がよく分からないのだけれど、ページの構造を当てにしたスクレイピングは、ページの構造が変わると動かなくなっちゃうので、精度が悪い。 特に、Yahoo みたいな息が長いサービスだと、デザイン変更はよくあることなので。 なので、最初にやることは API が提供されているかどうか、を調べることです。 次に、公開はされてないけど、データだけを取得する仕組みが用意されているかどうか(ページで使われている、javascript のコードを追っかける)。 もしかして、スクレイピングされたくないサイトがあって、それでどうやって調べるかを聞いてるのかな?

mijuswaさんのコメント
ありがとうございます。 質問がわかりづらくてすみません。 問題解決においてのアプローチの仕方が知りたかったのでした

a-kuma3さんのコメント
>> 問題解決においてのアプローチの仕方が知りたかったのでした << あ、なるほど。 ぼくは、まずドキュメントを当たります。 探さなくても場所を知ってるものもあれば、ググってみないとドキュメントがあるかどうかわからないものもあります。 ソースを読んだりするのは、その後。 そういうことを仕事でやってるから、仕事じゃないときでも、自然にそうなっちゃう。 でも、面白そうな動きをするサイトを見たときに、とりあえずソースを見てみる、ってのもよくやります。 問題解決、というよりは、情報収集という感じですけど。

質問者から

>>「yahoo ニュース コメント 抽出」で、Google 検索。
これやらないでわかりますでしょうか?


関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ