サーバーにもよりますが、日本のサーバーと比べ速度は遅くなると思ってください。
0.5?1秒遅くなるだけだと思いますがサーバーによっては極端に悪くなるようです。いろいろなサーバーについて見てみて、比較しながらいいなと思ったところに移行すればいいと思います。
日本にもあれより安いレンタルサーバはあるようです。無料のも沢山ありますが有料のだけ載せますね。
https://www.xserver.ne.jp
https://lolipop.jp (100円コースは電話サポートなし)
http://www.sakura.ne.jp (比較的安いが重いみたいです)
http://www.quicca.com/?dc=100serv (安いです。10日間のお試し期間あり。)
http://www.kagoya.jp (土日も電話対応あります。)
http://www.server-navi.com (100社のレンタルサーバーについて乗っているサイトです。)
ostingerは無料である程度自由に使えるのでお勧めです。日本語化もされています。海外のサーバーなので速度は落ちますが。
http://www.hostinger.jp