自作PCのUSBポート給電能力増強改造について質問です

古い自作PCを使用しているのですが、自分のマザーボードは初期のUSB2.0規格であり、ポートあたり500mAしか流せません。
ということで、フロントUSBポートのVSUB(+5V)に、ATX電源の4ピンコネクタを直接接続するバイパス基板を作ろうとおもっているのですが、この場合のGNDの処理がよくわかりません。

素直にATX電源に戻せばいいのか、マザーボード側に接続すればいいのか、どちらでしょうか。


電源増強改造に思い至った理由ですが、現在所有しているUSB2.0のポータブルHDDは1GBや2GBの転送で数分程度の使用では問題がないものの、50GB程度の転送をしていると転送終盤にリセッタブルヒューズが効くのか、HDD自体が認識されなくなります。
またカッコンカッコンという音を出す場合もあります。

なお、ポータブルHDDをPS3やノートPCの黄色のUSB端子に接続した場合は、なんら異音もなく問題なく使えているので、HDDの故障ではなく単に電力関係が問題になってると思います。
ちなみにHDDのラベルには5V/1Aって書いてあります。