人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

今macのexcelでデータ分析を行っているのですが、そろそろデータの量が数十万行等になり限界に近づいています。

macのスペックは
2.4GHz intel core i5, メモリ8GB
です。
excelはexcel 2011です。
基本的にデータはPaaSに入っています。

方策としては下記がありますが、メリット、デメリットあります。
1. windowsのハイパフォーマンスモデル(core i7、メモリ16GBくらい)を購入し、引き続きexcelを使う
-excelはやはりGUI操作出来るので便利
-macよりexcelの動作は速い気もするが、いずれ限界が来る?

2. macでRで作業する
-vlookupなどがないのであまり便利ではない
-スペック的な限界

3. AWSでハイパフォーマンスインスタンスでごりごり計算する
-DB操作(MAP REDUCE)などを勉強しなくてはならない
-CUIなので面倒
-結構料金が高い

他にも有益なメリット、デメリットがあれば教えて下さい。

●質問者: Hajimex
●カテゴリ:コンピュータ 学習・教育
○ 状態 :終了
└ 回答数 : 6/6件

▽最新の回答へ

1 ● きゃづみぃ
●34ポイント

何が限界なのでしょうか?

集計するのに 時間がかかるとか?

普通DBは 大量データを扱うために インデックスというのを設けます。
そして それで 対象となるデータを素早く探し出し処理します。

数十万件もレコードがあるならば DBに移行させたほうがいいでしょう。

http://www.filemaker.co.jp/solutions/database-basics/mac-database.html


Hajimexさんのコメント
現在の方法だと集計するのに時間がかかります。 DBにインデックスは張ってあるのですが、 そこからデータを抽出した後にまだ、 数十万行のデータを全てデータ分析にかける必要があるのです。。。

きゃづみぃさんのコメント
DBでデータを抽出するときに 別テーブルに出力させればいいのでは? 分析と言われても その分析の仕方によっては 改善の方法があるのかもしれません。 たぶん考慮が必要なのは 分析方法かと思います。

Hajimexさんのコメント
そうですよね。 でも見習い期間においては、 やはり大量のデータを気軽にいろいろ遊んでみられるというのは、 非常に学びの多いことでもあるので捨てがたいことでもあります。

Hajimexさんのコメント
ちなみにwindows上では、mac上よりexcelが早かったりするかご存知ですか?

きゃづみぃさんのコメント
>ちなみにwindows上では、mac上よりexcelが早かったりするかご存知ですか? macのエクセルは 遅いということですか?

Hajimexさんのコメント
そうですね。windowsに比べて 遅いですか?というのが質問の意図でございます。

きゃづみぃさんのコメント
マシンのスペックによるんじゃないでしょうか。

質問者から

実際にやりたいことは集計などです。

既存のデータから簡単な計算をして新しいパラメータを作ったり、
いくつかのDB間でvlookupのようなことをしたり、です。

当方簡単なDB文は書けますが、プログラマーではありません。
プログラムをがっつり勉強してCUIで操作して行くのもありですが、
excelだとビジュアル系が強いので新たな発見もしやすくなるというメリットもあります。


2 ● きゃづみぃ
●34ポイント

>いくつかのDB間でvlookupのようなことをしたり、です。

こういうのは ひとつのテーブル内に 取り込んでおくと 速くなります。
基本、容量を少なくするため コードだけを テーブルに持たせますが、
コードと名称の二つを テーブルに入れておけば、いちいち名称をもってこなくてもよくなりますのでその分 速くなるのです。

当然ながら 同じコードは 同じ名称となるようにしておかなければ なりませんが。


3 ● oil999
●33ポイント

同一マシンスペックであれば、MacのExcelの方がWindowsより動作が軽快です。
しかしながら数十万行というのは、Excelには不向きなデータ量です。どのようなデータ分析をされているのか分かりませんが、Rは第一選択肢になります。

RにVlookupがないということですが、抽出であれば %in% 関数を使って代用できます。
詳しくは下記をご覧下さい。
http://nakaoka.tumblr.com/post/460730155/r-vlookup

いずれにしても、動作が重くなっているのは数十万行のデータをGUI表示するために起きていることなので、計算式で処理できるRや、場合によってはSQLによって処理すれば(MacにはMySQLが標準装備)、お持ちのMacでも十分にデータ処理できるはずです。


Hajimexさんのコメント
これいいですね!

Hajimexさんのコメント
excelのvlookupは定規と鉛筆でアナログにやってる感じですが、 こっちはコマンド一発って感じで軽快です。 他にもRの便利機能なんかを紹介しているページがあれば教えて下さい。

4 ● pretaroe
●33ポイント

>ちなみにwindows上では、mac上よりexcelが早かったりするかご存知ですか?

たぶん、誤差の範囲だと思う。

>データの量が数十万行等になり限界

データー量を減らす工夫ができない限り、EXCELでは限界に近づいてると思う
最終的にEXCELで処理するデータを減らせばよいのですが、たぶんそれが数十万なのでしょうね。

>いくつかのDB間でvlookupのようなことをしたり、です。

GUIでというのなら、MS-ACCESSを使用してみては?
EXCELでやっている処理がどういうものか不明ですが、複数DBからの集計程度ならAccessでも可能ですし、EXCELよりは効率よく行うので、データ量の限界はEXCELよりも上です。




Rの追加機能パッケージであるRコマンダーをRに組み込みこめば、SPSSやかつてのStatViewのように、マウス操作だけで解析を行うことができるようになります。しかし、標準で組み込まれている統計解析の種類は限定されていました。
http://www.jichi.ac.jp/saitama-sct/SaitamaHP.files/statmed.html


1-5件表示/7件
4.前の5件|次5件6.
関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ