akaired回答ポイント 80ptウォッチ 3

プログラムでブラウザを操作してデータをセットしたり、データを取得したりしたいです。

例えば、hatenaに自分のIDとパスワードをセットしてログインします。次に自分の質問を一つずつ変数にセット。全ての質問をテキストにはき出す。

というものを作りたいとした時、どういった技術を使うのが簡単で良いでしょうか？Win XPで実現できるものでお願いします。私ができるのは、VBAくらいです。あと少しJS。Perl,Ruby,UWSCなど以外でお願いします。VB.netのウェブブラウザコントロール、xmlhttprequestあたりがよいのでしょうか？

あと、各HTMLの要素にアクセスするにはどうしたらよいでしょうか？

• はてなアカウントでログイン
• 無料ユーザー登録

みんなの回答

• kn19672009/11/14 03:05:04

  満足40pt

  （１）どういった技術を使うのが簡単で良いでしょうか？

  
  

  perlやRubyなどは除外という事のようですが、Webとの親和性が高く、

  情報収集も容易なものを除外してしまうというのは論外だと私は思います。

  
  

  それはさておき、XMLHTTPRequestについては、基礎中の基礎的なものですが、

  以前の質問 http://q.hatena.ne.jp/1250623193 から３ヶ月ほどが過ぎ、

  何か進展はありましたか？　進展が無いようであれば先はまだまだ遠いですし、

  他に何を回答されても無理です。

  
  

  （２）プログラムでブラウザを操作してデータをセットしたり、データを取得したりしたい

  
  

  ブラウザを制御するための情報を収集することは非常に困難であり、また、

  ブラウザが微妙にバージョンアップしただけで動かなくなったりしますので、

  プログラムから直接、相手のサーバとやりとりする事を考えたほうが良いでしょう。

  
  

  （３）各HTMLの要素にアクセス

  
  

  DOMという仕様がありますので、まずはDOMについて学びましょう。

  それと、DOMを操作するためのスクリプトの作り方についても学びましょう。

  マネージ HTML DOM (Document Object Model) の使用

  
  

  （４）注意事項

  
  

  最近のWebサイトはプログラムからの自動攻撃を防ぐための措置を講じていたりしますので、

  下手なプログラムでアクセスすると、サイトから弾き出されたりする可能性があります。

  （攻撃とみなされて会員資格を失う可能性がありますし、しつこくすると、

  　不正アクセス防止法にひっかかる可能性だってありますので要注意。）

  
  

  逆に、アマゾンやgoogleなどのようにウェルカムな所では、

  プログラムからのアクセス用にAPIと呼ばれるものを用意してくれてたりしますので、

  内容を解析して直接いじるというような面倒な事を行う必要は無くなりつつあります。

  スター

snow_leopard2009/11/14 05:14:04

0pt

ブラウザ画面を加工したり、値を取得してどうこうなら、firefox+greasemonkey+javascriptでできるわけですが、

おっしゃられている程度のことなら、

wgetとshellスクリプトが簡単かと。

スター

HALSPECIAL2009/11/14 20:42:42

満足40pt

＞各HTMLの要素にアクセスするにはどうしたらよいでしょうか？

ということで回答してみます。




xmlhttprequestだと、そのままではＨＴＭＬのＤＯＭにアクセスできません。

未確認ですが、htmlfileでパースさせるとできるげです。

http://d.hatena.ne.jp/mobitan/20090829/1251542456




なので無難にＨＴＭＬのＤＯＭを使いたいのであれば、ＩＥのコントロールを使うのがよろしいかと思います。

ログインも難なくスルーできるのではないでしょうか。




その辺は、id:ken3memoさんのＨＰが参考になると思います。

http://www.ken3.org/vba/

スター

mattn2009/11/18 17:13:37

回答オープン10pt

VBSというかWScriptですが...

Option Explicit
Dim xhr, n
Set xhr = CreateObject("Microsoft.XMLHTTP")
Call xhr.open("GET", "http://q.hatena.ne.jp/akaired/questionlist?mode=rss", False)
Call xhr.send()
For Each n in xhr.responseXML.selectNodes("/rss/channel/item")
	WScript.Echo(n.selectSingleNode("description").text)
Next

RSSから取得しているので、もしかしたら質問文が途中で省略されているかもしれません。また全件ではありません。実行は

C:\>wscript my-questions.vbs

とコマンドプロンプトから実行です。

ファイルに落とす方法は、VBSがお分かりという事なので省きます。

※方法によっては全件取得も難しくないかと思いますよ。

スター
• その他の回答を読む

この質問へのコメント

• Reiaru2009/11/14 09:11:06
  > 全ての質問をテキストにはき出す。
  
  これさえできれば、ブラウザを立ち上げる必要は無いのですよね…？
  例えば GetHTMLW の様にそれ単体で巡回処理を行えば良いのではと思うのですが。
  (ブラウザ上から処理させるのはあまりにも非効率です)
  
  > というものを作りたい
  
  とあるので作る事が目的な様ですが、うーん。
• b-wind2009/11/14 14:12:11
  > 私ができるのは、VBAくらいです。あと少しJS
  実質的にこれが必須条件のようだから、こんなんでいいんじゃないの？
  http://www.scriptbrowserk.com/sbkIntro.html
• Reiaru2009/11/14 19:10:35
  ↑ ScriptBrowser、これは面白いですね。全く知りませんでした。
  私も何かちょっとした作業に使えるかもしれません。ブックマークしておきました。
  
  b-wind 様に → ★☆
• horosco752009/11/16 11:52:41
  > perlやRubyなどは除外という事のようですが、Webとの親和性が高く、
  > 情報収集も容易なものを除外してしまうというのは論外だと私は思います。
  
  え？　質問はクライアントサイドでは？
  
  > まずはDOMについて学びましょう
  
  ええ？？
  

質問の情報

登録日時

2009-11-14 02:04:14

終了日時

2009-11-21 02:05:02

回答条件

1人2回まで

この質問のカテゴリ

• コンピュータ
• インターネット

この質問に含まれるキーワード

人気の質問

• 戦前、バスの通る道で「赤い旗を持って」とは？　林芙美子の童話「蛙」(*)の最後近くで、次のようになって…sibazyun132日前
• 一日だけこっそり過ごせるなら？jqpk0izg21日前
• ログインしなくて良い質問サイト教えて下さい山田生活113日前
• 下記の動画シリーズに使われているBGMは何の曲でしょうか？ 茜お姉ちゃんがバイトする話　１日目 - ニコニ…匿名質問者1日前
• 数年前（十年以上前かもしれません）に見たサイトを探しています。 日本の、地域のキリスト教の教会につい…匿名質問者123時間前

メニュー

• 質問一覧
• カテゴリ一覧
• 無料ユーザー登録
• 人力検索はてなトップ

PC版

• お問い合わせ
• ヘルプ
• お知らせ
• はてなトップ