人力検索はてな
ﾓﾊﾞｲﾙ版を表示しています｡PC版はこちら
i-mobile
以下の様ないくつかのｻｲﾄを纏めて検索するｻｲﾄの作り方(PHP実装のﾛｼﾞｯｸ方針)を教えてください｡

http://findvid.net
http://kakakuh.com
http://wav.tv ※ｱﾀﾞﾙﾄ系なので未成年･女性の方はご注意ください｡

現在大学生です｡学科とは関係なのですが､ﾌﾟﾛｸﾞﾗﾐﾝｸﾞに興味があり､ORACLE SILVERを取得しました｡今度はｱﾌﾟﾘｹｰｼｮﾝやｻｲﾄを作りたくいろいろ参考になるｻｲﾄを見ておりましたが､上記のようなｻｲﾄの作り方が分からず困っています｡

私が考えたやり方ですと
?それぞれのｻｲﾄに入って検索をする
?その検索結果のhtmlから必要な情報(動画のID等をぬく)
?抜いた情報を元に表示する

だと思ったのですが､それだと複数のﾍﾟｰｼﾞにまたがる結果を取得する際の挙動が分かりません｡
(上記のｻｲﾄで検索結果2ﾍﾟｰｼﾞ目以降を表示する際には､再度対象の検索ｻｲﾄに検索をかけに行く動きになっているのでしょうか？検索ﾋｯﾄの総数も全体の件数を計算したうえで表示しているように見えます｡)

かといってyoutube等のDBに直接ｸｴﾘは投げられませんし､､､
一体どうやっているのか検討がつく方いらっしゃいましたら勉強の為にご教示下さい｡
●質問者: shudoyui
●ｶﾃｺﾞﾘ:ｺﾝﾋﾟｭｰﾀ ｳｪﾌﾞ制作
○ 状態 :終了
└ 回答数 : 1/1件
▽最新の回答へ
▽1 ● ﾖﾈちゃん

複数のｻｲﾄの検索結果をどうｿｰﾄするかにもよるのですが､
例えばYouTubeの場合は再生回数の多い順にｿｰﾄできるので､
｢magic｣の場合は､
https://www.youtube.com/results?search_sort=video_view_count&search_query=magic
となり､20件の検索結果が返されます｡
以降のﾃﾞｰﾀは､
https://www.youtube.com/results?search_sort=video_view_count&search_query=magic&page=2
というように｢&page=2｣や｢&page=3｣を付加すれば取得できます｡
｢&page=0｣と｢&page=1｣は同じ結果で最初の20件が表示される仕組みです｡

例えば3つのｻｲﾄを検索するとして､1ﾍﾟｰｼﾞ目が全て20件であった場合､
その60件のﾃﾞｰﾀを全て集めて再生回数の多い順にｿｰﾄします｡
1ﾍﾟｰｼﾞに表示しようとする件数が20件であった場合はここまででOKです｡

2ﾍﾟｰｼﾞ目以降が問題で､21件目から39件目までのｿｰﾄ結果に､
特定のｻｲﾄの20件目が表示されてしまっている場合､
その特定のｻｲﾄの21件目以降を取得し､追加してｿｰﾄし直します｡
そしてｿｰﾄ結果の21件目から40件目を表示します｡

このように､足りなくなった可能性があればｱｸｾｽするという方法があります｡

shudoyuiさんのｺﾒﾝﾄ
回答ありがとうございます｡ やはり二ﾍﾟｰｼﾞ目以降の情報は｢&page=2｣などで都度取りに行くしかないですよね･･･ あとはﾃﾞｰﾀの加工の仕方等でｶﾊﾞｰしてるんでしょうかね｡｡
ﾖﾈちゃんさんのｺﾒﾝﾄ
既存の検索ｻｲﾄに大きな負荷をかけてｻｰﾊﾞｰをﾀﾞｳﾝさせてしまうといけないので､なるべく相手側の負荷を軽減させることが重要です｡ 負荷をかけ続けるとｱｸｾｽ制限の対象になったりしますから｡
shudoyuiさんのｺﾒﾝﾄ
なるほどぉ･･･ 都度更新だとしても､既存の検索ｻｲﾄ(youtube)などのｱｸｾｽ解析に引っかからないような仕組みにしないといけないということですね｡ 普通に検索をかけにいくと既存の検索ｻｲﾄにどこから経由してきたか分かってしまい｡ 過度に同じｻｲﾄ経由でｱｸｾｽがあると制限の対象になる可能性があるということですよね？ どうしてるんでしょうか？また学びの種が出来てしましました笑
ﾖﾈちゃんさんのｺﾒﾝﾄ
ｱｸｾｽを解析されれば必ず引っかかりますが､ 相手のｻｰﾊﾞｰにﾀﾞﾒｰｼﾞを与えないｱｸｾｽであれば､問題視はされないはずです｡ 悪い例を挙げると､100ﾍﾟｰｼﾞ分まで一気にｹﾞｯﾄしてからｿｰﾄするなどすれば､相手のｻｰﾊﾞｰやﾈｯﾄﾜｰｸに多大な負荷をかけることになります｡ ｲﾝﾀｰﾈｯﾄは皆の共有財産ですので､共存することも重要な課題であると私は思っています｡
shudoyuiさんのｺﾒﾝﾄ
ﾀﾞﾐｰのｻｲﾄ等を経由してｱｸｾｽかけてるのかと思ってました･･･ 仕組みに関しては大体理解出来ました｡ 実際に同じ様なｻｲﾄを作るかは分かりませんが､また何かありましたら宜しくお願い致します｡勉強になりました！ありがとうございました｡
ﾖﾈちゃんさんのｺﾒﾝﾄ
ﾀﾞﾐｰのｻｲﾄを経由しても解析されてしまえば同じことで､そのﾀﾞﾐｰのｻｲﾄからのｱｸｾｽを次々と制限されるでしょう｡ もちろん刑事罰に問われることも今のところはないはずですが､ ﾃﾞｼﾞﾀﾙの世界なので隠すことは出来ません｡ 相手に悪意があろうと無かろうと､己のｻｲﾄを守ることも仕事のうちなのです｡ またお会いできると楽しいですね｡
関連質問
●質問をもっと探す●

0.人力検索はてなﾄｯﾌﾟ
8.このﾍﾟｰｼﾞを友達に紹介
9.このﾍﾟｰｼﾞの先頭へ
□対応機種一覧
□お問い合わせ
□ﾍﾙﾌﾟ/お知らせ
□ﾛｸﾞｲﾝ
□無料ﾕｰｻﾞｰ登録
□はてなﾄｯﾌﾟ