質問です。

＞今日は卒業式の振替休日なのですが、卒業式に参加してない人に振替休日って必要ですか？

卒業式は授業の一環としての行事として行われますので、卒業式の施行日が土日・祝祭日の場合は、必ず振替休日になります。
（出席した在校生が限られている場合でも）

質問者さんは生徒の立場で考えていますが、卒業式に出席した先生・職員の方も休日出勤をしているので、生徒と同様に振替休暇が必要です。
先生・職員を交代で休ませると、授業や業務の割り振りが煩雑になりますので、一斉に振替休暇を取った方が学校経営上合理的という事です。
（先生・職員の休暇取得については、学校教育法（学校教育法施行規則）及び地方公務員法、各都道府県が定めた規定・規則に基づきます。）

注）児童（小学生）・生徒（中高校生）は振替休日ですが、先生・学校の職員は振替休暇です。

私は在校生含めて全員出席が普通だと思ってました。