ひかり電話にアナログ電話を直結する場合は
ひかり電話対応ルータが電話用の帯域を確保する仕組み(QoS)を持っている
ひかり電話のオフィスタイプなどでIP Phoneを使う場合は、
パソコンなどの他の機器もLANを使っているため、意外なほどに待ちやパケット破棄が発生することがあり、
さらには網を通じてSIPサーバーとやりとりする分などもあるので、時間がかかるのはある程度はしかたない
参考資料
だからといって5秒は確かに長いと感じる(2、3秒に抑えたいところでしょう)
一番確実なのはLANを多重化することですが、よほどの事が無ければルータのQoS機能を使うのが今風
詳細はネットワークの現状調査(組み方や台数、利用調査など)が必要になりますので、まずは構築した業者と相談してください
参考資料(例として10000シリーズをあげてますがgoogleなどで「Cisco ルータ QoS」などをキーワードとすれば他にも出てきますし、お使いのルータの型番がわかっていれば、それで検索すれば良いでしょう)
http://www.cisco.com/japanese/warp/public/3/jp/service/manual_j/rt/10k/qoscg/index.shtml
http://translate.google.co.jp/translate?hl=ja&langpair=en|ja&u=http://www.joshgentry.com/cisco/cisco.htm
http://translate.google.co.jp/translate?hl=ja&langpair=en|ja&u=http://www.joshgentry.com/cisco/cisco.htm
http://translate.google.co.jp/translate?hl=ja&langpair=en|ja&u=http://www.cisco.com/en/US/tech/tk583/tk372/technologies_configuration_example09186a0080210cdc.shtml
私の感覚ではCCAの設定の問題かなと思っています。CCAもしくはCiscoルーター設定に関しての回答を引き続きお待ちしています。