自作PCのUSBﾎﾟｰﾄ給電能力増強改造について質問です

古い自作PCを使用しているのですが､自分のﾏｻﾞｰﾎﾞｰﾄﾞは初期のUSB2.0規格であり､ﾎﾟｰﾄあたり500mAしか流せません｡
ということで､ﾌﾛﾝﾄUSBﾎﾟｰﾄのVSUB(+5V)に､ATX電源の4ﾋﾟﾝｺﾈｸﾀを直接接続するﾊﾞｲﾊﾟｽ基板を作ろうとおもっているのですが､この場合のGNDの処理がよくわかりません｡

素直にATX電源に戻せばいいのか､ﾏｻﾞｰﾎﾞｰﾄﾞ側に接続すればいいのか､どちらでしょうか｡


電源増強改造に思い至った理由ですが､現在所有しているUSB2.0のﾎﾟｰﾀﾌﾞﾙHDDは1GBや2GBの転送で数分程度の使用では問題がないものの､50GB程度の転送をしていると転送終盤にﾘｾｯﾀﾌﾞﾙﾋｭｰｽﾞが効くのか､HDD自体が認識されなくなります｡
またｶｯｺﾝｶｯｺﾝという音を出す場合もあります｡

なお､ﾎﾟｰﾀﾌﾞﾙHDDをPS3やﾉｰﾄPCの黄色のUSB端子に接続した場合は､なんら異音もなく問題なく使えているので､HDDの故障ではなく単に電力関係が問題になってると思います｡
ちなみにHDDのﾗﾍﾞﾙには5V/1Aって書いてあります｡

(C)株式会社はてな