ｔ検定と相関係数との違いについて

ある変数（たとえば身長など）の男女差を調べるとします。
通常は、ｔ検定を行うと思うのですが、性別の変数を男=0,女=1などの２値変数に置き換え、身長と性別とでピアソンの積率相関係数を算出するという方法は不適切でしょうか。

不適切か否かと、その数学的な理由も教えてください。

もちろん、教科書的にはそのような使用法は紹介されておりませんし、片方の変数が２値変数だと、分布が不適切になるといった理由から不適切な気もします。

しかし、不適切であると確信できない理由としてピアソンの積率相関係数は、有意性検定の際にrをt値に置き換えるので、実質的にrとt値は可換関係にあるのではないかということを考えています。

むしろt検定の場合、効果量を算出しない限り、性差の「度合い」まではわかりませんが、相関係数を算出する場合、相関係数の大きさから関連の「度合い」を見ることができる気がしています。
そのため、この方法が不適切であるのか確証が持てません。

どなたかご存知の方がいらっしゃったら、ご教授いただけると幸いです。