PHPだとこんな感じですかね｡ｻｲｽﾞが大きいと､うまく行かないかも知れません｡
$data = "";

$files = dir(ﾊﾟｽ);
while (($filename = $files->read()) != FALSE) {
$filepath = (ﾊﾟｽ) . "/" . $filename;

$data = $data . file_get_contents($filepath);

}
file_put_contents(ﾊﾟｽ,$data);

一回だけの処理なら､単にhtmlﾌｧｲﾙ名を列挙して､1つにまとめるﾊﾞｯﾁを作ることで対処できます｡
Windowsでｺﾏﾝﾄﾞﾌﾟﾛﾝﾌﾟﾄからdirｺﾏﾝﾄﾞを使うとﾌｧｲﾙのﾘｽﾄが得られますが､このときに/b /sｵﾌﾟｼｮﾝをつけると､ｻﾌﾞﾃﾞｨﾚｸﾄﾘも含めた対象ﾌｧｲﾙのﾌﾙﾊﾟｽ名を得られます｡

dir /b /s (列挙したいﾙｰﾄﾃﾞｨﾚｸﾄﾘ)\*.html

上記ｺﾏﾝﾄﾞの出力を適当なﾌｧｲﾙに出力させ､その各行について適当なﾃｷｽﾄｴﾃﾞｨﾀの置換処理を使って､結合ﾌｧｲﾙに追記するようなﾊﾞｯﾁにして実行すればOKです｡

type (HTMLﾌｧｲﾙのﾌﾙﾊﾟｽ名) >> (結合ﾌｧｲﾙ)
type (HTMLﾌｧｲﾙのﾌﾙﾊﾟｽ名) >> (結合ﾌｧｲﾙ)
type (HTMLﾌｧｲﾙのﾌﾙﾊﾟｽ名) >> (結合ﾌｧｲﾙ)
･
･
･

定期的に行う必要がある場合は､上記処理を行うﾊﾞｯﾁを作ることも可能です｡以下のﾊﾞｯﾁﾌｧｲﾙを作って適当なﾃﾞｨﾚｸﾄﾘから実行すれば､そのﾃﾞｨﾚｸﾄﾘ以下の全htmlﾌｧｲﾙを結合したconnect.txtが生成されます｡

@echo off
for /F "delims=" %%F in ('dir /b /s *.html') do (
type %%F >> connect.txt
)

Perlでやってみました｡ｽｸﾘﾌﾟﾄはUTF-8で保存してください｡

use utf8;
use strict;
use warnings;
use Encode;

use Path::Class;

binmode STDOUT,':encoding(cp932)';
binmode STDERR,':encoding(cp932)';

my $sjis = find_encoding('cp932');
my $out = 'c:/output.txt';#出力ﾌｧｲﾙ名

open my $fo,'>:encoding(utf-8)',$out or die "cannot create file<$out>:$!";

my $target = $ARGV[0] || Cwd::getcwd;#引数で指定されなければｶﾚﾝﾄﾃﾞｨﾚｸﾄﾘが対象

print "target directory is <$target>\n";

dir($target)->recurse(callback => sub {
my $fi = file(shift);
my $name = $sjis->decode($fi);
return if $name !~ /\.html$/ or -d $name;
print "$name\n";
my $buf = $fi->slurp(iomode => '<:encoding(eucjp)');
print $fo $buf;
});

close $fo;
exit;

ここでは例として､入力ﾌｧｲﾙがEUCで書かれていることを想定しています｡出力はUTF-8です｡画面表示はWindowsということでShiftJISにしています｡

文字ｺｰﾄﾞが統一されていないのであれば､それの判別が一番のﾈｯｸでしょうね｡

一応､HTMLﾌｧｲﾙの文字ｺｰﾄﾞ宣言を読み取ってそれを返してくれるHTML::Encodingなるﾓｼﾞｭｰﾙもあるようですが､試してはいないのでどれほどのものかはわかりません｡

Mac では､ﾀｰﾐﾅﾙからだと､こんな感じでしょうか｡

find /hoge -type f -name "*.html" -print | xargs cat >> output.txt

例外がいろいろあるとのことなので､細かい制御をするなら､bash のｽｸﾘﾌﾟﾄで｡

#! /bin/bash
files=`find /hoge -type f -name "*.html" -print`
for f in $files
do
  # 例外は､ここではじく
 if ...
 then
 continue
 fi

 cat $f >> output.txt
done

文字ｺｰﾄﾞを変換する必要があるなら､nkf を使う感じでしょうか｡

#! /bin/bash
files=`find /hoge -type f -name "*.html" -print`
for f in $files
do
  # 例外は､ここではじく
 ...

  # UTF-8 に変換して出力
 nkf -w $f >> output.txt
done