通話中にスピーカーのボタンを押すと切り替えられます。
なお、Xperiaの一部機種 (SO-01Hは不明) はChromeをつかうとなぜか自動的にスピーカーになる不具合があるようなので、「設定」→「アプリ」から、Chromeをいったん無効にして改善するかを試してみてください。
※Chromeを無効にすると、キャッシュとCookie、開いているタブは削除されます。復元はできません。
(Google アカウントを持っていない場合 (もしくは自動同期をしない設定にしている場合) は、上記に加え、履歴やブックマーク、パスワードなども含めた全データが削除されます。)
消したくないデータがないか、無効にする前にはよくご確認ください。