レジストリなどに設定のゴミが残って英語と日本語の矛盾する設定が混在しているために、OSやアプリの動作に矛盾が出ているのではないかと思います。
または、アンインストールによってもともと存在した、必須レジストリまで消されてしまったのかもしれません。
PocketPCのメーカー、機種が書いてありませんが、その機種ごとに装置を出荷時状態に戻す、いわゆる「フルリセット」の操作があるはずです。例えば何かのキーを押しながら同時にリセットを押すとか。通常は取扱説明書にその方法が書かれていたり、メーカーのホームページ上に情報があると思います。
参考です。
http://www.wince.ne.jp/faqdb/ceFAQView.asp?PID=562
メジャーなPocketPCのフルリセットのやり方が書いてありますが、おそらくすべて日本語版PocketPCのものだと思いますので、ご使用のものは書いていないかもしれません。
ありがとうございます。探してみます。