いままでは「Site Map Builder.NET」を使用していたのですが、URLが増えすぎたせいなのか
うまく動かなくなってしまいました・・・。
そのようなサービスを提供しているサイトもいくつかあるようですが、URLが数万あり
調べた範囲ではそこまで対応しているサイトはありませんでした。
なにか良い方法をご存知の方、よろしくお願いいたします。
CMSなどを入れて、動的に作り変えてしまったほうがいいのでは?
代表的なCMSでは、sitemap.xmlを自動生成してくれるプラグインが無料で提供されています。
例.WordPressなど
サイト内検索がつけられたり、RSSなども自動生成されるので、総合勘案すると良いことの方が多いと思いますよ。
フリーソフトの「sitemap.xml生成ツール(Ver1.0)」はいかがでしょう。
もしそうだとすると、クローラーが自動的に収集するのは難しいと思うのですが。
また、もし収集できるにしても、リンクがきちんと張られているのか、何段階の深さのリンクまで辿ればよいかなどを制約しないと、クローラーが無限ループに陥る恐れがあります。(無料Webサービスは、そのため収集できるコンテンツ数を制限しているのです)
phpで動的に作成してはいますが、既に作成したページのURLは変わりませんし
ページ数も有限なので、自動クロール自体は恐らく問題ないかと思います。
サーバ負荷などを考えると無料Webサービスが制約を設けるのは当然と思いますので、
その制約がゆるいWebサービス、あるいはデスクトップアプリを探している、という状況です。
(RSSを作成するのと同じ要領で、sitemap.xml形式やror.xml形式にして吐き出せばいいだけですので。)
システム開発会社へ確認することが近道だと思います。