匿名質問者

Googleで検索した際に表示されるURLを一括ダウンロードする方法はありますか?

検索結果に1万件以上ヒットしたので、手動でURLリストを作るのは難しいのです…。

回答の条件
  • 1人5回まで
  • 登録:
  • 終了:2015/05/10 02:50:04

ベストアンサー

匿名回答1号 No.1

方法はあるようなないような。
まず、普通にとってくるのは禁止されてます。
http://www42.atwiki.jp/tomokazu0525/pages/41.html
代わりにAPI使います
http://offsidenow.phpapps.jp/archives/415
http://ryutamaki.hatenablog.com/entry/2014/01/18/171640
具体的には
http://irohanihohe.net/2013/12/03/734
https://github.com/scraperwiki/google-search-python
http://search.cpan.org/perldoc?WWW%3A%3AGoogle%3A%3ACustomSearch
http://ginzanomama.hatenablog.com/entry/2015/01/14/205322
こんな感じで。

他にもググると色々出てきますが、API使わないのはアク禁喰らう可能性あるのでご注意。

匿名質問者

ありがとうございます。APIを使う発想はありませんでした。
ただ次のような情報もあり、1万件以上ヒットする場合は対応が難しそうです…。

Google Custom Search APIがひどい
http://shimobayashi.hatenablog.com/entry/2012/12/14/Google_Custom_Search_API%E3%81%8C%E3%81%B2%E3%81%A9%E3%81%84

(引用)
・1リクエスト10件までしか取れない
・10ページ目までしか取れない

2015/05/03 20:04:56

その他の回答1件)

匿名回答1号 No.1

ここでベストアンサー

方法はあるようなないような。
まず、普通にとってくるのは禁止されてます。
http://www42.atwiki.jp/tomokazu0525/pages/41.html
代わりにAPI使います
http://offsidenow.phpapps.jp/archives/415
http://ryutamaki.hatenablog.com/entry/2014/01/18/171640
具体的には
http://irohanihohe.net/2013/12/03/734
https://github.com/scraperwiki/google-search-python
http://search.cpan.org/perldoc?WWW%3A%3AGoogle%3A%3ACustomSearch
http://ginzanomama.hatenablog.com/entry/2015/01/14/205322
こんな感じで。

他にもググると色々出てきますが、API使わないのはアク禁喰らう可能性あるのでご注意。

匿名質問者

ありがとうございます。APIを使う発想はありませんでした。
ただ次のような情報もあり、1万件以上ヒットする場合は対応が難しそうです…。

Google Custom Search APIがひどい
http://shimobayashi.hatenablog.com/entry/2012/12/14/Google_Custom_Search_API%E3%81%8C%E3%81%B2%E3%81%A9%E3%81%84

(引用)
・1リクエスト10件までしか取れない
・10ページ目までしか取れない

2015/05/03 20:04:56
匿名回答2号 No.2

手動でやってたときのやつ
・クロームでぐぐる
・結果をがーっと反転させてリターン(ッターン!とかっこよく)
・全部開いた(ググる結果ページは別窓に移動)
・タブをぜんぶブクマする(タブエリアを右クリックから「全部のタブをブックマーク」選択)
・右のタブを閉じる
・ググる結果に戻って次の結果ページに移動してッターンする×気が済むまで
・ブックマークマネージャーひらいてブックマークをエクスポートして
・エクセルで開くときにタブ区切りとか適当にやって抽出

数百はやったことありますが1万やったことはないのでググる先生に怒られるかは知らないです!
でもクロームなら怒られない気がしてます

匿名質問者

ありがとうございます。そのようなやり方もあるのですね!
ただ1万件以上あるのでその分繰り返すのはすごく大変で現実感がありません…。

2015/05/04 22:17:13

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません