サーバー（SAKURA VPS）のphpバージョンを5.1.6→最新（5.2.6？）に上げようと思うのですが、上げた場合に考えられる不具合は何がありますでしょうか？

最新と言えば5.4.3になりますが、5.3系もメンテされてますし、そっちが良い気がします。

• http://vps.fean.info/archives/server410.html
  • http://www.atomicorp.com/wiki/index.php/PHP
• http://d.hatena.ne.jp/Dullahan/20110609/1307627727

とか言いつつユーザーではないので確かな事は言えませんが。
あと、アプリケーションの方は、広く使われているならたぶん大丈夫じゃないでしょうか？
元々のソースに含まれているREADMEとかINSTALLの記載記載を確認してはどうでしょう。

ただ、なんにせよ、まずは（作業ミス対策とかも含め）バックアップを取り、手元に同じ環境を作って、手順の確認、動作の確認、（いざと言うときのための）元に戻す手順の確認なんかは行うべきでしょう。特に自作のモジュールとか変更点とかあると思わぬ結果とかおこりえますし。

一応、5.1→5.2→5.3での影響の出そうな所は以下になると思います。

• http://www.php.net/manual/ja/migration52.incompatible.php
• http://www.php.net/manual/ja/migration52.removed-extensions.php
• http://www.php.net/manual/ja/migration53.incompatible.php
• http://www.php.net/manual/ja/migration53.removed-extensions.php

PHPの最新版は5.4.3です。

PHP 5.3では、ereg系の正規表現関数が廃止されたのが大きな変更点です。
ereg 系の正規表現関数が廃止された。
http://gihyo.jp/dev/feature/01/php53

PHP 5.4では、セーフモード、マジッククォート、参照渡しなどが廃止されています。

これらの点に注意してバージョンアップを行う必要があります。