定時後に仕事を振る上司と納期優先の業界について

僕は営業の上司(Aさん)のサポートをしていてAさんの上にも役員がいますが同意見なのか首を突っ込みません。Aさんは営業として素晴らしい業績を挙げています。

僕はお客様と営業から来る見積依頼、発送手配、打合せ。メーカー手配、社内でも打合せ、その他雑務もあり定時では帰れません。

ミスをしない様に確認に確認を重ね慎重になっている側面もあると思いますが、
日中に手が空いても夕方にお客様から急ぎの仕事が来たり、帰社したAさんから定時前後に仕事を頼まれてしまいます。そして「定時で帰ったら？」「省ける無駄はないの？」と言います。これってちょっと理不尽で矛盾していませんか？

僕にしか出来ない業務もありますし頼まれた仕事は断れません。
原因は僕でしょうか、どうすれば良いか分かりません。
定時ぴったりに帰りたいというわけではないですが、毎日がこれだと辛いです。

ちなみに休みは暦通りで福利厚生は充実、残業代は1円も出ません。

アドバイスをよろしくお願いします。