LinuxにPHPをインストールする方法は大きく２通りあると思います。

PHP 5.4はマジッククォート関連の関数が廃止されるなど、5.3 に比べて廃止されている機能があります。
なので、5.3 と共存させることができるソースからのインストールの方が良いと思います。

apt-getは使ったことありませんが、phpのコンパイル、インストールはやったことがあります。かなりむつかしかったと思いますよ。configure, make, make installではとても入りません。いくつかのライブラリやソースの準備はもちろん、そのあとも動くまでかなり調整がいったと思います。
だから、phpの特定のバージョンでなければ、自動インストールをすすめます。
コンパイル、インストールはその必要性がある人のみにした方が無難ですね。
よっぽど慣れていないとたぶんできない。apacheのインストールは経験ありますか？
たしかapacheのソースやその他のソースも用意しなければいけなかったと思うし、
一筋縄ではいかないですよ。phpはオールインワンなので、逆にコンパイルはそれだけむつかしいです。

apache, mysql, phpのコンパイルはwebサーバーをつくるには必須なんだけれど、必要のない人、慣れてない人にはおすすめしません。
wordpressをローカルで動かすにもこの辺はいるのですが、すぐにやりたかったら、
出来合いのものを使った方がいい。
あ、忘れてたけど、mysqlを正しく組み込むにはコンパイルが必須です。でないと日本語化けます。このみっつはセットになっているので、どれか一個だけというわけにはいかなかったと思います。結局全部再コンパイルしなければならなくなりますよ。
時間もめっちゃかかります。

もし、どうしてもやるなら、自分とos環境が同じ、できればphp, apacheなどのバージョンも同じ人の書いた、コンパイル記録を参照してください。

②ソースコードからコンパイルしてインストール

メリット

PHP を普通にインストールすると、 デバッグ機能よりもパフォーマンスの向上に主眼を置いて最適化された設定になります。 実際に運用することを考えると、これは妥当な選択でしょう。 しかし、拡張モジュールを開発する環境としてはあまりよくありません。 何か問題がおこったときに、どこが悪いのかを調べやすくするように PHP をビルドする必要があります。
http://php.net/manual/ja/internals2.buildsys.environment.php

やはり最新版を使えるソースからのインストールのほうがいいですよ。

多少時間はかかってしまいますが、最新版ならいろいろ安全だと思いますので。

やはりこういうのは質問者さんが決めるのがいいかと・・・。