残念ながら、完全に除去するのは不可能です。
ゴムの表面の無数にある細かい隙間にカビの菌糸が入り込んでいます。
乾燥した雑巾などで水分を拭き取るのもお勧めです。
完全にではありませんが、日光消毒が一番のお勧めです。
普段は洗剤で洗い、時々乾燥させて紫外線で菌糸を殺します。
強力な薬液だとそのうちゴムが溶け出す可能性もある。
できれば2セットのふたを代わりばんこに使えば負担が減ってカビが「目立たなくなる」でしょう。
ただ、日光はゴム部品を劣化させます。
いずれにしても完全な除去は不可能だと思って下さい。
裏技で風呂場に除湿器を掛けるという手もあります。
乾燥させてカビの発生を抑制するわけです。
あの手この手で乾かしてやります。
換気扇を回しっぱなしにするなども有効な手でしょう。