人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

Hadoopについて質問です。

例えば、AmazonS3上に数百万枚の写真(JPEGファイル)があるとして、これのサムネイルを生成するというタスクがあるとします。
このような処理に、Hadoopの分散処理は有効でしょうか?

●質問者: DQNEO
●カテゴリ:コンピュータ インターネット
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● a-kuma3

例えば、↓みたいなのと同じようなことをするわけですね。
http://codezine.jp/article/detail/2841

ひとつひとつの写真をリサイズしたり、画像情報を抽出したり、なんて処理が増えるにつれて、
Hadoop の効果が出るはずです。


DQNEOさんのコメント
ImageMagickでリサイズするだけの単純なタスクです。インデックスとかスコア計算とかは行いません。

2 ● うぃんど
ベストアンサー

利用価値は色々ありますが、説明用に2つのパターンをあげてみますね
(a)長時間の高画質動画ファイルを加工する
分散処理で同調させながら行う事によって、
さながら巨大なリソースを持つコンピュータ1台が処理したかのように、
処理時間を驚異的に短縮できる可能性があります
(b)大量の静止画ファイルを加工する
わざわざ分散処理で同調させるという手間をかけるよりも、
単純にそれぞれに担当するファイルを適宜指示しておいて、
コンピュータ毎に独立処理させるほうが効率は良いです

ご質問の用途は(b)になりますので有効か無効化については下記のような具合になります
・データの保全やデータへのアクセス性からみれば効果大
・処理速度の向上には特に寄与しない


DQNEOさんのコメント
データの保全、可用性についてはS3が担保してくれるのでHadoopは関係なさそうですね。 つまり、Hadoopを使う意味はなく、forkとかでマルチプロセス処理すればよいということですね。 ありがとうございます!
関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ