軽度知的障害者(B2、他に障害無し)の方は普通のスポーツセンターと障害者スポーツセンターだとどっちの方が馴染みやすいでしょうか？

私は大人になってから軽度知的障害(B2)と診断された31歳、男性です。
休日、身体を動かしたり、誰かと触れあったり、楽しみが欲しいと思い、スポーツセンターに行ってみたいと思っているのですが 私は中学時代、部活で陸上部に所属していたんですが、雑談に入れなかったり、リレーの大会で、誰にバトンを渡せば良いかわからなくなり、フリーズしてしまい、部員に馬鹿にされいじめに合い、半年で部活を辞めてしまいました。
体育でも球技全般が苦手でサッカーなどでは、ルールが一部分からず、相手に何回もパスしてしまったり、ボールを上手く蹴れず、周りからおかしいと言われていました。
トラウマがあるため、普通のスポーツセンターに行って馴染めるかor競技をこなせるか不安です。
かといって、見た目や話した感じは普通(障害者に見えないと色々な方に言われます)、心は半分健常者(27歳くらいまで普通の人として生きてきたため)なところがあり、障害者スポーツセンターにも行きづらいなぁと思ってしまいます。