クラスタリングに対応したエンコーディングやzipなどの圧縮伸長ソフトがすくないのはなぜですか?


最近、Hadoopなどの分散コンピューティングに興味を持ち、そう言えば分散といえばエンコーディング処理だよなぁと思い、動画などのHadoopのエンコードプログラムを探したのですが見つかりませんでした。
以前、テレビ向けのソリューションを見たときにエンコーディングをクラスタリングしていた記憶があったので意外でした。

そう言えば、エンコーディングOSSのffmpegもマルチコアは対応していたものの、GPGPU機能の対応は最近だったような気がします。

タグではHadoopにしておりますが、Hadoopに限らず、分散コンピューティング(クラスタリング)に対応したOSSはあるのでしょうか?
また、そういったソフトが少ないのはデータ構造などから分散処理しにくいのでしょうか?
(私のググる力が弱い可能性も大ですが)

回答の条件
  • 1人1回まで
  • 13歳以上
  • 登録:
  • 終了:2020/02/17 07:37:30

ベストアンサー

id:SweetSmile1978 No.1

回答回数199ベストアンサー獲得回数31

ポイント100pt

オープンソースで需要が低いものは作成されないでしょう。
作成した人がいたとしてもそのプロジェクトに参加する人が少ないので
自然消滅してしまうでしょう。

ファイルの圧縮・展開はファイルフォーマットによっては
そもそも現実的でないかもしれません。
データ量がすくないと複数のコンピュータで連携するための
オーバーヘッド(タスクスケジュール、通信など)もそれなりに発生するので
それなりに大きいデータでないと効果がありません。
というかデータが大きければ大きいほど通信などのオーバーヘッドのほうが大きい気がします。

id:pepc

参加者というシンプルな理由ですね。確かにそれは大きいかもしれないですね。
逆に頑張って探せばzipくらいならサンプルプログラムが見つかるかもしれませんね。
探してみます。

2020/01/23 12:23:01

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません