[500pt]レンタルサーバ上にあるデータをすべてダウンロードしたい
通常であれば、gzip/lzh/zipなどレンタルサーバで用意されている一般的な方法やffftp.exeなどで行うことができます。
ただ、今回は、データ量が膨大過ぎて（200万ファイル、合計ファイルサイズ2GBのテキストファイル）プロセスをサーバ側でkillされたり通常のソフトではダウンロードできませんでした。
なお、ファイルの場所を書いた、テキストファイルもあります(一部間違った情報が混じっている)。また、普通に見られるデータですので普通にアクセス行いデータを回収する方法もありますが、サーバ上で上手にperlスクリプトを使うなどして、もう少し効率的に回収したく思っています。
このための、Perlスクリプトや良い方法を教えてください。
なお、サーバではperlが使え、SSHでログインもできます。
500ptは実際に当方がダウンロードに成功した方法を紹介いただいた方1名に差し上げます。
複数名おられた場合も合計で500ptとなるように致します。
ヒント的な回答はあまり高ptにはなりませんのでご注意ください。
宜しくお願い致します。
ベストアンサー
-
gday
満足100pt
sshが使えるのでしたらWinSCPを使ってダウンロードするのが確実だと思います。
ダウンロードする側にWinSCPをインストールしてサーバーにアクセスします。
途中回線が切れても何度でもトライしてくれるので癖のあるサーバーからでもダウンロードできます。
http://sourceforge.net/projects/winscp/
あるいは、サーバー側でrsyncが開放されていればこれを使うのも良い方法です。
これはrsyncの途中でファイルのダウンロードが中断されても再びrsyncを起動すればダウンロードされてないファイルから作業を再開してくれるので便利です。
sshを指定することもできるので安心です。
http://wind-master.dip.jp/soft-info/item/29/catid/11
http://webos-goodies.jp/archives/51213844.html
-
TREEG
-
TREEGその他の回答
-
mcq
満足35pt
「普通にアクセス行いデータを回収する」というのは、
クローラを使ってHTTPでダウンロードするということですよね。
でもファイルが200万個あるので、1個ずつダウンロードするのは効率が悪い。
そこでgzipなどで200万個のファイルを1ファイルにまとめて、FTPでダウンロードしようとしたが
「プロセスをサーバ側でkillされたり」して上手くいかなかったと。
この「kill」されたのが、以下のどちらなのかによって難しさが変わってきます。
(1)「gzipなどで200万個のファイルを1ファイルにまとめ」るときにkillされる
(2)「FTPでダウンロード」するときにkillされる
(2)なら比較的簡単です。
gzipでまとめたファイルを、もう少し小さな単位(10MBなど)ごとに分割して
HTTPやFTPでダウンロードしたあとに、結合して、解凍すればOKです。
分割と結合の方法は下記の解説が分かりやすいです。
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/154splitfile.h...
もし(1)だとすると、少々面倒です。
SSHでログインして、プロセスがkillされない程度に小さな単位で
ちょっとずつgzipコマンドを実行していかないといけません。
そのための手順は、サーバで使っているOSの情報や
ダウンロードしたいファイルが保存されているディレクトリの構造などが
分からないと説明できません。
そのため、もし(1)の状況なのであれば
「200万個のファイルを1ファイルにまとめ」るのを諦めて
回答者#1さんの方法で1個ずつダウンロードする方法もアリだと思います。
-
TREEG
-
この質問へのコメント
質問の情報
- 登録日時
- 2010-09-25 01:54:44
- 終了日時
- 2010-09-26 00:05:58
- 回答条件
- 1人3回まで
この質問のカテゴリ
この質問に含まれるキーワード
人気の質問
-
この英文どうなってますか？ The boy seemed to be waiting for his mother to come.（その少年は母親が来…
匿名質問者
1
1
-
不定詞の形容詞的用法らしいんですけど、副詞的用法と書いたら✖️ですか？ I want to buy a book to read …匿名質問者11
-
日向陽葵という○V女優が好きなのですが似ている○V女優はいますか匿名質問者
-
共通テストで使われるプログラミング言語は共通テスト特有の言語と聞いたのですが、受験勉強で身につけたプ…匿名質問者1
-
内定してほしいポケモンはいますか？匿名質問者