最近、1000万行のＣＳＶファイルを高速で処理する会社があることを知りました。ターボデータラボラトリです。http://www.turbo-data.co.jp/j/tech/tech2.html　似たような会社としては、高速屋があります。(ターボが特許出願しているのに対して、高速屋は特許出願していないようです。）　質問なのですが、1000万行のＣＳＶを集計したいと思っている企業は日本にどのくらいあるでしょうか？　不明だと思うので、そこそこいけている　フェルミ推定　で回答お願いします。

ターボデータラボラトリのOh-Pa 1/3は、CSV処理用ではないですよ。

データを主メモリ上に置くオンメモリデータベースで処理時間比はＤＢ内データ操作に対してです。

1000万行のＣＳＶを集計したい場合、最初にＤＢロードに掛かる時間は大きく変わらないはず。

http://www.bsc.fujitsu.com/services/ohpa/concept/

ということで、

1000万行のＣＳＶを集計したいと思っている企業は日本にどのくらいあるでしょうか？

は、

日本の企業数３００万社

そのうちＰＣ使っているの1/3

そのうち大規模CSV使うところ1/1000

そのうちデータベース使ってるところ1/2

で１５００社くらいでしょうか。

http://www.tse.or.jp/listing/companies/index.html

一部上場企業数　2,351社

最低でもこの10倍は需要があるはず　2万社

ターボデータラボラトリのOh-Pa 1/3の資料は本当なら驚異的です。

ただし、比較対照のRDBにINDEXをはってないので、実際問題の比較としては妥当ではありません。

入り口がヘンな気がします。

ＩＴでは、そういう技術が語られるのはデータウェアハウスの分野です。

テラデータ、ネティーザ、オラクル、ＨＰ、ＩＢＭ、ＳＡＰなんかが並列、オンメモリーで高速化技術を競ってます。

この分野では、1000万件なんて別に驚きません。毎日、更新データだけで１億件に達する会社もあります。

日々の取引の明細までをデータベースにぶちこんで、マイニングやＢＩで処理するのですから。

例示された会社が誇らしげに書いてある内容も当然の話ばかりですし、仮に特許を取れたとしても、要素技術にすぎず、ビジネス上、大きく評価できるかというと、疑問があります。

大量のデータのクレンジング（ゴミを取ったり修正したり）、多次元データベースにどう収めるか、定義をどう保持するのか、ジョブスケジューリングなどなどスピードマニア以外の総合力でビジネス上の価値が決まります。

じゃぁ、どれくらいの会社がそれを必要としているかというと日本のデータウェアハウスの市場を少し見てみました。

http://prtimes.jp/main/html/rd/p/000002188.000000000.html

ちょっと古いですが、取り混ぜて9000億円市場ということでしょうか。