匿名質問者

素人がサーバを立ててデータ解析を行うには?


会社員です。エンジニアではなくそういった知識もありません。
Accessを通して、基本的なSQLは書けるようになりました。

【背景】
サイトの購入ログ解析のため、accessを利用。(1ヶ月250万ログ×72カ月分、今後増加)

DBファイル(72個)とクエリファイルを分けておきリンクテーブルで繋ぎ、なんとかSQLを実行している。(問合せIDと同じIDのログを拾うクエリ、問い合わせID数は1000~数万)。抽出結果を新しいaccessファイルにインポートし、集計加工を行う。
※抽出段階でいっきに実行すると、accessが応答なしとなるので、結局は各月ごとにクエリを実行・エクスポート。作業の大半は、インポート・エクスポートの待ち時間となってしまう。

【希望】
大きな入れ物が欲しい。(データを一元管理しクエリに集中したい)
クエリ実行時に、サクサク動く環境にしたい。
大量のDBを扱い分析する手法を学んでいきたい。


【質問】
1:このデータ量をaccessで管理・解析する事が妥当か?
2:ある程度の失敗も見込み、どういうサーバをどうやって設置するのがいいか教えてください。

回答の条件
  • 1人30回まで
  • 登録:
  • 終了:2012/08/10 16:10:03

回答1件)

匿名回答1号 No.1

「集計」が具体的になんなのかによる

  • 例えば事前に部分集計するなど、データ量を減らす事を考える。
  • データ量が減らせないと、分散処理が出来ないAccessでは破綻する可能性がある。
  • サーバ選定はレコード件数とかクエリの例とか示してベンダーに聞く
  • SQLを離れてHadoopとかMapReduceを使う手もある。
  • データマイニングとか本を読む。
匿名質問者

オリジナルのデータマイニングのような事がしたいです。
ユーザーがどう動いたか、どういう特性があるか、ならばどういう方針でプロモーション等を実行していけばいいのか。
そういったことを、常時継続的に課題が出る度に行いたいです。

部分集計で対応できる内容は部分集計していますが、
全ての課題に部分集計では対応できないことと、
部分集計のためですら、基礎データの保守の手間は変わらないという点で、accessによる管理から脱却したいと思っています。

会社のシステム部からの援助は受けられなさそうなので、
自部署の費用で簡易なサーバ(全データを一カ所に入れておける大きな箱)だけでも用意できれば業務が楽になるかなと思って質問しました。

2012/08/06 10:25:25

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません