サイトの中の一部のコンテンツを抜き出す方法（検索エンジンのクロールのようなこと）をする方法を教えて下さい。

具体的には、こちらが指定するURL（ファイルで10000個くらい所有）すべてにアクセスして一部分の文章を持ってきたいと考えています。

HTMLパーサー？的なことができる方法やサイトを教えて下さい。

Wgetとしてこのタグとこのタグの間を抜くという方法が一番現実的なのでしょうか・・・。