このように、FTPでファイルを転送している途中でデータの欠落があった場合に検出できない場合などあるのでしょうか。また、上記のような欠落を検出したい場合使うべきファイル転送手順は何でしょうか。(rcpなどならOKなのでしょうか。)
なお、自分でWeb等を調べたのですが、FTPの信頼性問題について触れられているページは見つかりませんでした。TCP/IP上なので、途中でデータが落ちたりすることは当然に分かるような気がしています。
過去に似たような質問があり、私も回答しているのでご参考にどうぞ。
http://q.hatena.ne.jp/1142442635
リモートシェルが使えるのであれは、rsync の -c オプションをつければ、送信元と送信先のファイルの整合性を転送時に確認してくれます。整合が合わない場合は再送信も自動で行ってくれるので、回線が途中で切れるといったようなトラブルさえなければ有効に使えるかと思います。
FTPの信頼性について、私の経験では、細い回線(1.5Mbps)で数GB分のファイルを長時間かけて送ったりすると1~2個壊れてたりするような感じですね。重要なファイルには使わないほうがいいです。
http://q.hatena.ne.jp/1146751712
※URLはダミーです。
FTPの問題点は、何らかの理由で通信が中断してしまったときに、それを知る方法がないという点です。サーバ側では、ファイルの転送が完了しているのか、転送途中で通信が切断されてしまったのかがわかりません。
また、一般的なFTPクライアントでは、通信が中断してしまった際に、それをうまくハンドリングすることができない点も副次的な問題点としてあります。
TCPの機能により、(悪意がなければ)伝送されたデータが改変してしまうことは現実的にはありませんが、ファイル転送が完了しているかどうかの検知はまた別ですので。rcpも同様です。
この問題に対する対処策として通常行われるのは、FTPの範囲であれば、先に転送したいファイルのMD5などの値のファイルを転送しておき、転送完了後に、ファイルの整合性チェックをサーバ側で行うことで、ファイルが完全に転送されたかを判断するといった方法です。
後は、HULFTなどの市販プロダクトを使うとか、SSHのようにセキュリティ上整合性チェックが入ったソフトウェアを用いるかといったところですかね。
回答ありがとうございました。
一般的なFTPクライアントでは通信が中断してしまった際にそれをうまくハンドリングできないんですか・・・。それを補うために転送後にチェックを行うということですね。
過去に似たような質問があり、私も回答しているのでご参考にどうぞ。
http://q.hatena.ne.jp/1142442635
リモートシェルが使えるのであれは、rsync の -c オプションをつければ、送信元と送信先のファイルの整合性を転送時に確認してくれます。整合が合わない場合は再送信も自動で行ってくれるので、回線が途中で切れるといったようなトラブルさえなければ有効に使えるかと思います。
FTPの信頼性について、私の経験では、細い回線(1.5Mbps)で数GB分のファイルを長時間かけて送ったりすると1~2個壊れてたりするような感じですね。重要なファイルには使わないほうがいいです。
回答ありがとうございました。
rsync、知りませんでした。こちらはファイルの転送後チェックまで行ってくれるのですね。
FTPの信頼性について、体験に基づいたコメント大変参考になります。
FTPの信頼性については、特に言及しませんが、isoイメージを落としたけど壊れてた、何て事は良くあります。
転送の方法はいろいろあると思いますが、確実に転送できたことを確認するためには、チェックサムを利用するのが良いと思います。
転送方法は、FTPの他に次のようなものが考えられるかと。とりあえず紹介のみにしておきます。
http://cns-guide.sfc.keio.ac.jp/2004/2/6/2.html
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/367usenfs.html
なお、NFSは、TCPとUDPが使えます。
http://www.linux.or.jp/JF/JFdocs/NFS-HOWTO/performance.html
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/605usens.html
#なんだか@ITの回し者みたいになってしまった。
回答ありがとうございます。
md5sumとsha1sum、使えそうですね。
回答ありがとうございました。
rsync、知りませんでした。こちらはファイルの転送後チェックまで行ってくれるのですね。
FTPの信頼性について、体験に基づいたコメント大変参考になります。