会社に個人情報を提供しないと処罰されますか？

中小企業勤務です。
現在出向という形で県外に出ており、仕事場までは従兄弟の家から通っています。
そこの住所を教えろと社長から言われていますが、自分は拒否したいのです。
・生年月日や血液型を含めた個人情報を携帯に登録したがっている
・それを落としたらどうするんだという問いに対し「落とさない」という根拠のない説明
自分はそんなセキュリティ意識低い社長に親戚の住所を預けたくないのですが…
個人情報保護法適応外の企業なんですが、提供拒否すること可能ですか？
もしくは、逆に拒否ると会社から何らかの処罰対象になるんですか？