パソコンに、「ハードウェアの安全な取り外し」というものがありますが、これはパソコンを切らずにそのハードウェア（外付けＨＤ等）を壊さずに取り外すもので、パソコンを切ればそのハードウェア（外付けＨＤ等）は、切った瞬間に安全なのでしょうね？

パソコンを切れば、USBからの電源供給も終わり、USBからの電源供給を受けている機器も稼働停止するので、基本的には問題ありません。

ただ、外付けHDDで外部電源（コンセント接続等）を利用している場合等は、USBとの接続終了後でもHDDの針を初期位置に戻す動作を行なったり、冷却するためのファンをしばらく動かしていることもあるので、機器の動作音を確認してから接続を外すことをお勧めします。

＞パソコンを切らずにそのハードウェア（外付けＨＤ等）を壊さずに取り外すもので
その通りです。

＞そのハードウェア（外付けＨＤ等）は、切った瞬間に安全なのでしょうね
そうとは限りません。
電源コンセントの付いている外付けHDDでは、電源を切らない限りディスクが回転を続ける製品があり、ドライブに振動を与えたりすると壊れたりする場合があります。

>切った瞬間に安全なのでしょうね？
きった瞬間では、まだ、電気が流れているので、瞬間の取り外しは止めた方が良いと思います。

windowsのそれは、単にデータがきちんと記録されるまで待っているだけの事で、ハードウェアは関係ないはずです。
OSやHDにはキャッシュがありますから、コピーや移動が終わったように見えても、内部ではまだ書き込みをやっている場合があります。そこで電源を落とすのはもちろんですが、切断してしまうとキャッシュデータがどっかへ行ってしまう場合があります。それを防ぐだけのためのものです。
　
データの転送が確実に終わっていると判断できるなら、安全な取り外しをしなくとも、usbケーブルを抜いたり、外付けHDの電源を落としても問題はありません。（windows自体は通常の方法で電源を落とすなら、データ転送が終わるまで待ってから終了動作に入る、、、事になっています）
また、リムーバブルディスクとして、ハードウェアのプロパティからキャッシュを無効にしておけば、安全な取り外し手順は不要になります。
（その分、パフォーマンスが落ちる）
　
外付けのHDなら電源スイッチを切ればいいし、バスパワーならusbのコネクタを抜くまで電源は入ったままですが、抜けば落ちます。
転送が終わっていれば、単独で電源を落としても問題ないです。
同時に、PC側を落としても、単独電源の物はそのまま電源が入っていますから別途、落とさないとなりません。
（物によっては省エネ設定で自動的に落ちるかも？でも、基板には電圧がかかっているので落雷などには弱い）
　
USBコネクタは、それ自体の耐久性があまり高く設計されていません。
あまり頻繁に抜き差しすると壊れやすいです。
　
何だかまとまりが付かなくてスマソ。
http://technet.microsoft.com/ja-jp/library/cc736885(WS.10).aspx

＞パソコンを切ればそのハードウェア（外付けＨＤ等）は、切った瞬間に安全なのでしょうね？

安全です。

＞パソコンに、「ハードウェアの安全な取り外し」というものがありますが、これはパソコンを切らずにそのハードウェア（外付けＨＤ等）を壊さずに取り外す

HDDの場合、データをコピーとか書き込んだときに
すぐに書き込んだりしない場合があります。

その状態で、これから抜きますよみたいな合図なく抜くと
書き込んでないデータがなくなる、その関係のファイルが破損する程度です。

読み込みしかしてないのなら、通常はそのまま抜いてしまっても特に問題はありません。



あとは物理的に安全かという話ですが、
HDDはアクセスがなくなったりすると
読み取りヘッドが安全な領域に退避させるHDDが現状ほとんどですので
かなり安全です。

また急に電源供給がなくなった時も
ヘッドが退避領域に戻るような設計にはなっています。

ヘッドが退避領域に戻ってなくても
HDDに激しい振動とかを与えない限り、特に問題ありません。

外付けのハードウェアが安全であるかどうかの問題ではなく、
接続して使用しているとOSが認識しているデバイスを突然外すことによって
システムが不安定になったり、そのハードウェアに書き込んだデータを
保証するという程度の意味だと思った方がいいです。

確かにリスク０ではありませんが、
書き込みをしている時以外は、
ほとんど心配する必要はないでしょう。

あんまり神経質になると疲れますよ。
そんなに簡単には壊れません。

長期的に見れば多少寿命は違うでしょうが、
丁寧に扱ったからって壊れないとは限りません。

トータルコスト（電気代も含め）と気遣いの心配を考えたら、
わたしなら全然、気にしないという結論にしちゃいますね。