Hadoopについて質問です。


例えば、AmazonS3上に数百万枚の写真(JPEGファイル)があるとして、これのサムネイルを生成するというタスクがあるとします。
このような処理に、Hadoopの分散処理は有効でしょうか?

回答の条件
  • 1人5回まで
  • 13歳以上
  • 登録:2011/11/24 18:02:57
  • 終了:2011/12/01 18:05:02

ベストアンサー

id:windofjuly No.2

うぃんど回答回数2625ベストアンサー獲得回数11492011/11/24 19:24:13

利用価値は色々ありますが、説明用に2つのパターンをあげてみますね
(a)長時間の高画質動画ファイルを加工する
分散処理で同調させながら行う事によって、
さながら巨大なリソースを持つコンピュータ1台が処理したかのように、
処理時間を驚異的に短縮できる可能性があります
(b)大量の静止画ファイルを加工する
わざわざ分散処理で同調させるという手間をかけるよりも、
単純にそれぞれに担当するファイルを適宜指示しておいて、
コンピュータ毎に独立処理させるほうが効率は良いです
 
ご質問の用途は(b)になりますので有効か無効化については下記のような具合になります
・データの保全やデータへのアクセス性からみれば効果大
・処理速度の向上には特に寄与しない

id:DQNEO

データの保全、可用性についてはS3が担保してくれるのでHadoopは関係なさそうですね。

つまり、Hadoopを使う意味はなく、forkとかでマルチプロセス処理すればよいということですね。
ありがとうございます!

2011/11/25 20:04:38

その他の回答(1件)

id:a-kuma3 No.1

a-kuma3回答回数4583ベストアンサー獲得回数19232011/11/24 18:50:20

例えば、↓みたいなのと同じようなことをするわけですね。
http://codezine.jp/article/detail/2841

ひとつひとつの写真をリサイズしたり、画像情報を抽出したり、なんて処理が増えるにつれて、
Hadoop の効果が出るはずです。

id:DQNEO

ImageMagickでリサイズするだけの単純なタスクです。インデックスとかスコア計算とかは行いません。

2011/11/25 20:02:44
id:windofjuly No.2

うぃんど回答回数2625ベストアンサー獲得回数11492011/11/24 19:24:13ここでベストアンサー

利用価値は色々ありますが、説明用に2つのパターンをあげてみますね
(a)長時間の高画質動画ファイルを加工する
分散処理で同調させながら行う事によって、
さながら巨大なリソースを持つコンピュータ1台が処理したかのように、
処理時間を驚異的に短縮できる可能性があります
(b)大量の静止画ファイルを加工する
わざわざ分散処理で同調させるという手間をかけるよりも、
単純にそれぞれに担当するファイルを適宜指示しておいて、
コンピュータ毎に独立処理させるほうが効率は良いです
 
ご質問の用途は(b)になりますので有効か無効化については下記のような具合になります
・データの保全やデータへのアクセス性からみれば効果大
・処理速度の向上には特に寄与しない

id:DQNEO

データの保全、可用性についてはS3が担保してくれるのでHadoopは関係なさそうですね。

つまり、Hadoopを使う意味はなく、forkとかでマルチプロセス処理すればよいということですね。
ありがとうございます!

2011/11/25 20:04:38

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません