祖父母と父が頭がおかしい、父は不倫しています。

まず気になったので指摘しますがスベコベじゃなくてツベコベですよ。辞書でしらべてみてね。
　
たぶん、長年一緒に暮らした夫婦は年金や遺産を半分あげなければいけない（という法律の決まりがある）のがイヤになったのでしょう。いろいろな思惑がからんでいそうです。
１．浮気の事実はないかもしれないです。その事実があったら、夫は離婚したあと元妻に慰謝料、養育費を払わねばなりません。だから、口で脅して嘘をついて法律上の婚姻関係を解消しようとしているだけかもしれません。
２．浮気の事実がある（証拠を握った）のなら、お母さんは不愉快でしょうから、離婚をすることができます。そうでなくても、単に双方が合意して離婚することもできますが、ただし、何の約束もせずに別れると結婚して出産育児のために長く働けなかった妻に損になりますから、弁護士や裁判所に頼んで、財産分与をさせたり、毎月決まったお金を元夫が元妻に払うという約束をさせることができます。たぶん財産を隠すでしょうが、どこの口座にいくらあるか、を把握しておいたほうがよいです。弁護士経由で夫の会社や税務署などに問い合わせてもよいです。
３．財産のことは法律家が夫と妻の間できめることです。子供、夫の両親はあまり関係ありません。しかし、心の問題などは別です。親権で揉めることが多いとおり、離婚してからの心の支えは子供になるケースが多いようです。子供さんも実は財産だと思われているのです。しっかり法律を勉強して、嘘にいいくるめられないように、常識ある判断をして大人になってください。お母さんが一方的被害者というわけでもないのかもしれません。

弟も成人したら、後は自由にバラバラで生きていけばよいのでは。

問題は、借金残して両親が亡くなった時で、遺産いらないと考えているなら出ていってもいいんじゃないですか。

相続面倒にならないように、遺書だけ書かせておけば、隠し子いてもそんなに揉めないでしょうし、マイナス財産なら放棄すればいいです。

私の嫁の父も、浮気を家族に自慢していましたが、今では嫁の父は肩身の狭い思いをしています。

相続の時に知らぬ間に借金相続したなんてのもありますから、バラバラになっても連絡だけはつくようにした方がいいですよ。
因みに相続財産を両親がなくなる前に放棄は法律上できません。

外に飛び出して、一人で頑張るのは凄く大変です。
しかし、大変なのが幸せであったり、苦しい事が10年後笑い話になったりするものです。

飛び出す気持ちがあるならば、大変だろうけど彼氏と暮らすのでなく、一人暮らしをお勧めします。

家をでてください。
本件を理由に彼氏との同性を始めるのは絶対やめましょう。
成り行きで同性して結婚して貴方もご両親と似た人生を歩みますよ。
同性始めて嫌な事があっても家でれませんよね？
同性は結婚相手として考えた結果であればOK
彼氏と一緒にいると半年程度で嫌いな一面がでて『家庭』とは？という意味がわかります。
だから金銭的辛くても一人暮らしをススメます。
初期費用がいらない賃貸物件も多く存在しますよ。
検索サイトで『フリーレント　○○区』などで検索してみてください。