知り合いがXPでメーラーを使っています。（アウトルックのようなものだと思います）。

アプリで弾くとは考えがたいです。
なので、送り元 (送り先ではない) のドメイン (@より後ろの文字列) がわからないとなんともいえません。これでメールの受信可否を判断している企業などが多いです。(携帯キャリアのメールの迷惑設定もこれで判断していますし)

あとは、メール作成の設定が「HTML形式」か「テキスト形式か」、というのもあるでしょうし、画像や添付ファイルの有無なども判断材料になっていると思います。

ありがとうございます。
まだ現象をまとめてないところもあったのですが…
画像添付ではねられてるかな？という気がして来ました。
送信側はケーブルテレビプロバイダですので特に特殊な環境じゃないと思います。

ファイル添付の可能性調べて見ます。

上記にもありましたがアプリではじくことはほぼありえません。
公共機関側のメールサーバがはじいているか、送信側のメールサーバが扱えないメールとしていると考えられます。、
特に公共機関宛とありますが、公共機関のメールサーバではウィルスなどを避ける都合上いろいろな制約などがあることがあります。
下記の内容を参考にしてみてください。
・そもそも発信専用のメールアドレスであり返信のメールを受け付けていない
・添付がついているものをうけつけない
・一定以上のサイズの添付ファイルがついているものをうけつけない（古いタイプのものではGB単位の添付や圧縮ファイルが扱えないものも多い）
・HTML形式のメールをうけつけない

解決方法としては失礼を承知で事情を記載した（テキスト）メールをまず先方へ送って回答を待つ。
てっとり早いのは現在返信されているエラーをここへ記載公開し情報を募っててみることですね。
ほぼ一発で原因は分かると思います。
※※公開する場合、返信エラーのIP・ドメインなど特定される情報を伏せる事はお忘れなき様