会社の上司の事で悩んでいます。

僕は、サービス業の会社で働いているんですが、今いる所の上司が嫌いなタイプの人なんです。と言うのも休みの日ですら平然と朝一8時に電話をしてきます。（僕らの仕事はお昼から深夜12時までなので寝てる時間です）
僕ら深夜のラスト閉める人達の事も考えずに仕事外の事で思いつきの事をやれといったこともやりました。勿論未遂で終わりましたが一番の決定打は、三か月前からこの日を休みにしてくださいと有休をとった日があったのですがその日の夜、用事で休みをもらったのに今すぐ会社に戻ってきてくださいとメールで送ってきて、拒否したら次の日のワークがなくなりその上で全店に従業員何々は、など書かれました。
僕自身もう正直、会うだけでストレスでメンタルがキツイ状況なんですがその人のメンツの為なのか辞める事ができません。どうしたらいいか悩んでいます。