他部署の年上男性社員から社員数人での飲み会に誘われました。

あなたが男性か女性かで対応が変わると思います。
　
男であれば、その会社に居る限りある程度無理してでも付き合っておいた方がいいと思います。
女であれば、その酒の席でパワハラを受けたと会社に訴えるのがはやいかと。
　
私の場合は下戸なので「酒飲めないから行きません」と言ってましたし、それでもしつこく誘われるなら「飲めないので2,000円までしか出しませんけどいいですか？」と言うとだいたい諦めました。
この辺の事は質問とは直接関係ないので回答に書かずにブログに書きました。よろしければご覧下さい。
http://blog.hanamarl.com/b1c9i4024.html

きれいさっぱり割り切って、何を言われても、何を思われても清々しくスル―して、むしろどうしても話さなければいけない時は感じよく接してみたらどうでしょう？

そして会社や外でなるべく多く知り合いや友人を作ってなんらかのコミュニティーに属してしまえば相手も近寄りがたいと思いますよ？

そういう人が一番やりにくい相手はめげずに清々しいくらい明るく、何も動じていない姿勢と友人の多さや属ずるコミュニティーに味方の人数が多いことです。

逆にいじりやすいのは真に受けたり、一喜一憂してへこんだり、明らかに動じたそぶりをみせてしまう人や、仲間が少なく孤立している人です。