あるドメインを指定すると、その下にあるURLを取得できるツールは知りませんか?


例えば
http://aaa.aaa.aaa/としていすると
http://aaa.aaa.aaa/aa.php?test
http://aaa.aaa.aaa/aa.php?test2
といったそのドメインに関連づいているURLリストを取得できるようにしたいのです。

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:
  • 終了:2006/08/01 02:35:03
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

回答4件)

id:ymch No.1

回答回数36ベストアンサー獲得回数5

ポイント23pt

主たる目的がよく分かりませんが、単にドメイン(ホスト名)配下の一覧でしたら、Googleの検索窓で「site:ドメイン名」とすればGoogleがクロールした範囲内での一覧を得ることはできます。

基本的に管理者が能動的にWebサイトのドキュメントルートからリンクしていない限り、その内容を無理矢理に取得する手段はグレーゾーンですし、ある意味、危険でもあります。

ドキュメントルートからリンクされているファイルそのものや、その構造が全部欲しいのだとしましたら、「Website Explorer」とかはいかがでしょうか?

http://www.umechando.com/webex/

id:kitsuneudon No.2

回答回数35ベストアンサー獲得回数2

ポイント23pt

リンクされていないファイルを見つけるのはかなり困難だと思います(indexファイルがないのであればファイル一覧が表示されることもありますが)。

リンクされているファイルをダウンロードするのであれば、Irvineなどはどうでしょうか。

http://hp.vector.co.jp/authors/VA024591/

Mozilla Firefoxを使っているのであれば、ScrapBookがいい感じです。

http://amb.vis.ne.jp/mozilla/scrapbook/index.php?lang=ja

id:ito-yu No.3

回答回数323ベストアンサー獲得回数14

ポイント22pt

同様の要件の時には、google先生にお願いしてます

検索BOXに site:aaa.aaa.aaa と入れます。

http://www.itmedia.co.jp/enterprise/articles/0507/11/news057.htm...

どのページからもリンクされていないURLは取得できませんが、そういうモノです。取得する方法はありませんので

id:makocan

皆さんありがとうございます!

出来ましたら、そのリストをCSVなどで出力できるようなツールはご存知ありませんでしょうか?

2006/07/25 12:37:33
id:ymch No.4

回答回数36ベストアンサー獲得回数5

ポイント22pt

前述の「Website Explorer」では、取得したサイトデータをExcel形式で吐き出すことができます。サイトデータとして吐き出すExcelのブックの内容(シート)は以下の通りです。

  1. サイトリポート … サイト概要、探査結果、更新頻度など。
  2. HTMLデータ … CGIやHTMLなど、表示されるページのリスト。
  3. リソースデータ … HTMLファイル以外のファイル。画像、メディア、外部スクリプト、CSS、RDFなどのリスト。
  4. 外部リンク一覧 … 外部のサイトへ張られているリンクのリスト。
  5. エラー一覧 … ディレクトリ指定の間違いやリンク切れ等のリスト。

これらの中で、一覧として欲しいものが〈HTMLデータ〉と〈リソースデータ〉でよろしいのでしたら、これらのシートをコピー&ペーストで一つにまとめて、不要なタイトル行や項目列を削除し、CSVとして保存すればお望みのものが得られると思います。

〈HTMLデータ〉と〈リソースデータ〉のシートの列構成は全く同じですので、たいした手間にはならないと思いますが…。いかがでしょう?

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません