Webサイトの情報を自動で保存する方法。


こんにちは。

下記のサイト

http://meigaralive.com/

のように、ストリーミング(?)で配信される
サイトを自動でテキスト形式(HTMLでも可)で保存したいのですが
どのようにすれば実現できるのでしょうか?

よろしくお願いいたします。

回答の条件
  • 1人3回まで
  • 13歳以上
  • 登録:2017/10/26 20:47:06
  • 終了:2017/11/25 20:50:05

ベストアンサー

id:kimuram No.1

kimuram回答回数14ベストアンサー獲得回数62017/11/04 14:32:12

ポイント300pt

えーと、何を求めているのかわかりにくのですが、方式なのか、この特定サイトについてなのことなのか、もっと一般的な知識を期待なのか、環境条件をどう考えているのか、目的と利用方法は、とか。
いずれにしても、自分では出来ないと思っていながらも興味はあったので、自分なりにこのサイト(http://meigaralive.com/)からデータを抽出蓄積出来るかなと試してみました。
以下、その内容です。(何か参考になればと思います)

==========

あまり満足の回答とも思われないのですが、何もないよりは、ひとつの形として、私の現在での出来ることを示してみようと思います。
まず満足出来ていないと認識していることを、先に述べておきます。
(1)処理開始時に手操作で支援の必要がある
(2)処理実行中においては、そのパソコンを占有してしまう
ことです。
それは、私がこのようなサイト、iFrameでさらにストリーミング(?)ようなものに対する知識技術が充分でないことだろうと思いますが、そのために姑息のような手段で対処していることからくるものです。

どなたか参考になる情報をもたらしてくれるかなと、自分の興味もあって、関心を持って見てましたが。
仕方ないので自分なりに、自分の知識と技術でどこまで出来るのかを試してみた結果です。
試してみていただければ幸いです。
(今後、また知識を得られるような状況になれば、もう少し満足のいくものにしたいと考えていますが)

Excel-VBAで構成したもので、ロジックの提示だけでは表現が難しいので、Excelブックを提示します。(提示方法が妥当か不安もありますが)

https://drive.google.com/open?id=0B9TikQxNIRsUX0Q0TUZnblFXTDA
「Webサイト「銘柄Live」の情報を自動で保存.xlsm」

<環境等条件>動作を確認した環境等条件は次の通りです。
・Windows 7 , 10
・Excel2016
・IE11(Intenet Explore 11)

<操作方法>
(1)Excelブックを開き
(2)ワークシート「取得データ蓄積」の上の方にある楕円図形「処理起動」をクリックすると処理が起動する
(3)開始確認に応答
(4)IEでWEBサイトが開いたら、余白部分辺りをクリックして、そのデータ部にフォーカスするようにする
   (その後、Ctrl+Aでデータ部が選択できる状態を確認すればよい)
    ※これをきちんと行わないと正常に動作しない。
(5)※このとき(IEでサイト起動済みのときはこれに該当せず)Excelウィンドウには操作待ちのメッセージが表示されているので次の操作を行う。

<稼動>
  10秒ごとにデータ確認を行い、新規メッセージがあれば、ワークシートに蓄積していく。

<終了方法>
 24時間は勝手に動作し続けるようになっている。

<割り込み強制終了>
 Excelワークシートの1行目のセルにカーソルを移動しておくと、その次の10秒毎処理を行った後に、処理を終了する。
  ※これが結構難しいかも。タイミング悪いとsendkeys動作が狂ってとんでもないことに!(x0秒の実行タイミングを避けて)


<注意>
・パソコンをほぼ占有
 IEからデータ取得するときに、sendkeysを使用するため、動作の安定性に不安ある
 余計な操作をすると、動作が不安定あるいは誤動作を行う恐れが充分くらいに有る
・環境の違いによる影響を見通せない

<その他>
・実処理は10秒ごとに行っている。(毎x0秒に起動する)
  WEBサイトでのデータ更新も10秒ごとに行っている。
 (WEBサイトの起動もタイミングを図っている)
・ログ取得あり(Excelブックと「同名.log」で同じフォルダ内に。)

以上です。
よろしくお願いいたします。

==========

その他の回答(0件)

id:kimuram No.1

kimuram回答回数14ベストアンサー獲得回数62017/11/04 14:32:12ここでベストアンサー

ポイント300pt

えーと、何を求めているのかわかりにくのですが、方式なのか、この特定サイトについてなのことなのか、もっと一般的な知識を期待なのか、環境条件をどう考えているのか、目的と利用方法は、とか。
いずれにしても、自分では出来ないと思っていながらも興味はあったので、自分なりにこのサイト(http://meigaralive.com/)からデータを抽出蓄積出来るかなと試してみました。
以下、その内容です。(何か参考になればと思います)

==========

あまり満足の回答とも思われないのですが、何もないよりは、ひとつの形として、私の現在での出来ることを示してみようと思います。
まず満足出来ていないと認識していることを、先に述べておきます。
(1)処理開始時に手操作で支援の必要がある
(2)処理実行中においては、そのパソコンを占有してしまう
ことです。
それは、私がこのようなサイト、iFrameでさらにストリーミング(?)ようなものに対する知識技術が充分でないことだろうと思いますが、そのために姑息のような手段で対処していることからくるものです。

どなたか参考になる情報をもたらしてくれるかなと、自分の興味もあって、関心を持って見てましたが。
仕方ないので自分なりに、自分の知識と技術でどこまで出来るのかを試してみた結果です。
試してみていただければ幸いです。
(今後、また知識を得られるような状況になれば、もう少し満足のいくものにしたいと考えていますが)

Excel-VBAで構成したもので、ロジックの提示だけでは表現が難しいので、Excelブックを提示します。(提示方法が妥当か不安もありますが)

https://drive.google.com/open?id=0B9TikQxNIRsUX0Q0TUZnblFXTDA
「Webサイト「銘柄Live」の情報を自動で保存.xlsm」

<環境等条件>動作を確認した環境等条件は次の通りです。
・Windows 7 , 10
・Excel2016
・IE11(Intenet Explore 11)

<操作方法>
(1)Excelブックを開き
(2)ワークシート「取得データ蓄積」の上の方にある楕円図形「処理起動」をクリックすると処理が起動する
(3)開始確認に応答
(4)IEでWEBサイトが開いたら、余白部分辺りをクリックして、そのデータ部にフォーカスするようにする
   (その後、Ctrl+Aでデータ部が選択できる状態を確認すればよい)
    ※これをきちんと行わないと正常に動作しない。
(5)※このとき(IEでサイト起動済みのときはこれに該当せず)Excelウィンドウには操作待ちのメッセージが表示されているので次の操作を行う。

<稼動>
  10秒ごとにデータ確認を行い、新規メッセージがあれば、ワークシートに蓄積していく。

<終了方法>
 24時間は勝手に動作し続けるようになっている。

<割り込み強制終了>
 Excelワークシートの1行目のセルにカーソルを移動しておくと、その次の10秒毎処理を行った後に、処理を終了する。
  ※これが結構難しいかも。タイミング悪いとsendkeys動作が狂ってとんでもないことに!(x0秒の実行タイミングを避けて)


<注意>
・パソコンをほぼ占有
 IEからデータ取得するときに、sendkeysを使用するため、動作の安定性に不安ある
 余計な操作をすると、動作が不安定あるいは誤動作を行う恐れが充分くらいに有る
・環境の違いによる影響を見通せない

<その他>
・実処理は10秒ごとに行っている。(毎x0秒に起動する)
  WEBサイトでのデータ更新も10秒ごとに行っている。
 (WEBサイトの起動もタイミングを図っている)
・ログ取得あり(Excelブックと「同名.log」で同じフォルダ内に。)

以上です。
よろしくお願いいたします。

==========

id:stepwgn24z

質問者から

inu2017/11/07 07:30:06

kimuram様

ご丁寧な回答ありがとうございました。

頂いた回答がまさに求めていた回答でした。

kimuram様の誠実さが文面からも溢れ出ていました。

このコードを基に工夫してみたいと思います。

ポイントは回答締め切り時に付与させていただきます。

どうもありがとうございました!

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません