yumやgemのリポジトリにウイルスやマルウェアが混入している可能性はあるのでしょうか？

可能性でいえばないとは言いきれません。
どこのディストリだったか忘れましたが過去にリポジトリサーバに侵入されたって事もあったように思います。
あと、githubに脆弱性があって～とか、そもそも元のソースに混入していないとも言いきれませんし。
実際、過去に元々のソースが改竄されていて、チェックサムで引っかかって発覚した、って事もあったはず。

とはいえ、有名所なら使ってる人も多いし、発覚もしやすいだろうから、どこの誰とも分からないところのバイナリよりは信頼出来ると思いますよ。