コンパイラの最適化ってどのくらい効くのでしょう？

限界までという言葉で何を言いたいのかよくわからないのだけれど、
普通の人間なら考え付くような凡ミスから来る無駄な処理を、
コンパイル時に潰すのが最適化と呼ばれる作業です。
つまり結果は大して変わらないと思われます。

さらなる高速化を目指したいのなら、
最初からアセンブラを使えばいいだけの事。
コンパイル自体は無駄な変換が多く含まれるので、
アセンブラで最適化されたソースを組めばけっこうな違いになります。

こんな記事は参考になりますかね。
本の虫: コンパイラーを負かす

手動で本当に限界までやりきれたのならそれが最高。（インラインアセンブラまでやるなら）
が、それはまず無理なのでコンパイラに任せる事になる。
ソースコードだけでは指定出来ない最適化は通常全部コンパイラに任せる事になる。
まぁ人力とコンパイラってあまり比べるものじゃないと思います。