SCP(または linux のファイルサイズ上限)に関する質問です。

SCP を使用し、あるサーバーにある約6Gのバックアップファイルを取得したいのですが、
約4Gまで転送した時点でファイルが切れてしまいます。
SCP と SFTP で2回試してみたのですが、1回目に転送した時は SCP コマンドで 4199489536バイト、
2回目に転送した時は SFTP コマンドで 4202299392バイトまで転送され、処理が終了していました。

コマンドは、nohup コマンド「nohup sh backup.sh &」のように行ったのですが、
nohup.sh にはエラーメッセージの痕跡はありませんでした。
backup.sh には、 expect コマンド経由で SCP を行うよう記述しています。

ファイルサイズの上限があるにしては正確に 4G ではありませんし・・
他に何が問題かお分かりの方いらっしゃったらご教授頂ければ幸いです。

OS は CentOS5 です。

回答の条件
  • 1人3回まで
  • 登録:
  • 終了:2009/11/09 00:35:02
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

ベストアンサー

id:BlueSkyDetector No.2

回答回数9ベストアンサー獲得回数2

ポイント35pt

rsync を ssh 経由で実行するとファイルの途中から転送を再開できるんですが、一旦それを試してみてはどうでしょうか。

↓のように .bashrc に書いておいて、

alias scpresume="rsync --partial --progress --rsh=ssh"

↓で転送切れたら再開させてみてください。

$ scpresume hostname:file ./

これで転送ができるかどうかで、もう少し問題の切り分けができそうな気がします。

id:snaa1d_1

ありがとうございます。試したいのですが、休日、日中に負荷をかけるわけにはいかず、

何も出来ず今に至ります。

回答していただいたコマンドは、別サーバーを使って行ってみます。

すぐにはできませんがお待ち下さい。

2009/11/05 23:37:36

その他の回答1件)

id:tsukasa57 No.1

回答回数110ベストアンサー獲得回数20

ポイント35pt

stalled になっているかもしれません。

http://nullpopopo.blogcube.info/2008/10/scpstalled.html

帯域制限をかけてみて下さい。

id:snaa1d_1

ありがとうございます。

2009/11/05 23:36:08
id:BlueSkyDetector No.2

回答回数9ベストアンサー獲得回数2ここでベストアンサー

ポイント35pt

rsync を ssh 経由で実行するとファイルの途中から転送を再開できるんですが、一旦それを試してみてはどうでしょうか。

↓のように .bashrc に書いておいて、

alias scpresume="rsync --partial --progress --rsh=ssh"

↓で転送切れたら再開させてみてください。

$ scpresume hostname:file ./

これで転送ができるかどうかで、もう少し問題の切り分けができそうな気がします。

id:snaa1d_1

ありがとうございます。試したいのですが、休日、日中に負荷をかけるわけにはいかず、

何も出来ず今に至ります。

回答していただいたコマンドは、別サーバーを使って行ってみます。

すぐにはできませんがお待ち下さい。

2009/11/05 23:37:36
  • id:snaa1d_1
    一応ですがファイルシステムを書き忘れていましたので・・

    df -T

    コマンドで確認したところ、ext3 です。
  • id:kn1967
    私なら、
    (1)scpやsftpコマンドの実行時間を図りつつ、vmstatコマンドでメモリ使用量などをチェック。
    (2)帯域を絞って、再度チャレンジ。
    これである程度原因は掴めるかと・・・。

  • id:b-wind
    スクリプトじゃなくて素直にコマンドラインから -v オプションをつけて実行してみたらどうなるの?
    直接の原因はそれではっきりすると思うけど。
  • id:snaa1d_1
    すいません、はてなの終了時間までに解決できませんでした。。
    結局、帯域制限をかけて、且つ scp -vvv としてみたのですが、
    概ね2.5G前後で転送が終了するようになり、特に有効なログは残らず・・
    (全く正常な状態で急にログが切れてしまいます)

    帯域制限をかけると4Gだったものが2.5Gになるという事は
    時間制限か何かがかかっているんですかね?
    コピー元のマシンの設定にも問題があるのかも。。


この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません