youtubeで使用するFLVが軽くていいと思います。もちろん軽さと画質は反比例しますけど。
もし元がAVCHDだとかなり効率がいいんで、結構縮んでるはずです。それをもっと今以上に圧縮したければ、解像度を落とすかフレームレートを下げるか、あるいはその両方をやらないと無理じゃないですか?まあそもそも前提となる、目標のデータサイズと元データのサイズを知りたいところですが。場合によっては目標自体が無理(データではなくディスクで渡すべき)ってこともあり得ますし。