人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

価格比較サイトの横断検索エンジンというのは技術的に開発可能でしょうか?

価格比較サイトや、グルメサイト、楽天のショッピングサイトなど、xmlで記述されているかどうかは別として、データベースからHTMLへの出力構造が均一的なサイトの場合、それをクローラーが拾っていってデータを収集するということはそれほど難しくないように思いますが、どうなのでしょうか。
(近未来的に商品価格などがrss出力されるようになればさらにクロール&収集しやすくなるように思っています)

たとえば、「ABC1234」という商品名を入れると、「カカクコム・ECナビ・コネコネット」の中で最安値のページから順に表示する、といったような検索エンジンの実現可能性をイメージしています。


<わかりにくいといけないのでもう少し具体的に>
たとえばぐるなびやカカクコムで、裏側のDBがどのような設計になっているかは表面からは見えませんが、サイトのHTMLやページ内に表示されている項目などから、「ある程度の構造や設計」は推定できると思います。推定できれば、クローラーにDBの主要項目を拾わせて、検索エンジン内のDBに整理しなおせるような気がします。

●質問者: kyoto_love
●カテゴリ:コンピュータ インターネット
✍キーワード:dB EC HTML RSS XML
○ 状態 :終了
└ 回答数 : 1/1件

▽最新の回答へ

1 ● jj_tomato
●60ポイント

無論できます。

私もやろうかと考えていますが、単体ではほとんど収入を生まないとも思っています。

おっしゃる通りのやりかたでできますが、相応の技術力は必要です。

各サイトのDB項目については普遍的なものではありません。それぞれのサイトの都合で変わるかもしれません。

3サイトを対象にクロールするとして、各サイトが年1回リニューアルすると仮定すれば、あなたは約4ヶ月に1回、突然そのサイトからデータを拾えなくなり、対応作業に追われることになります。

テンプレートのようなもので汎用的に作りたいところですが、それはそれで高度です。

ご自身でプログラムを組むか、常時手伝ってくれる仲間がいなければ、運用は困難かと思います。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ