公開鍵認証のパスフレーズ

こんにちは。
公開鍵認証を使った接続でパスフレーズなしで、VPSへログインすることが目的なのですが、
パスフレーズは求められず、SSH接続の際に求められるパスワードを求められてしまいます。アドバイスを下さい。。

【ローカル環境】
Mac
OS X 10.9.5

【接続先環境】
お名前.com KVM
CentOS6.5

設定は以下のサイトを参考に同じ様に進めました。
http://kazmax.zpp.jp/linux/lin_sshrsa.html

鍵の作成時にパスフレーズは入力せずにenter, enterで無視しています。

ローカルのパーミッションは以下の通りです。
.ssh/ : 700
.ssh/id_rsa : 600

接続先のパーミッションは以下の通りです。
.ssh/ : 700
.ssh/authorized_keys : 600

下記のようにして接続すると、パスワードを求められます。

$ ssh -i id_rsa ユーザ名@IPアドレス -p ポート番号
ユーザ名@IPアドレス's password:


以上、よろしくお願い致します。

情報足らずでしたら、申し訳ありません。
追記いたしますので、ご指摘ください。