imageantialiasを有効にしていますか?http://www.phppro.jp/phpmanual/php/function.imageantialias.html
そういう場合にはスーパーサンプリング処理を行います。何をするかというと、一度完成品の何倍もの大きさの画像を作成し、それを縮小するのです。この過程を踏むことで滑らかな縁取りが可能です。以下のサイトにサンプルスクリプトがあります。