今macのexcelでデータ分析を行っているのですが、そろそろデータの量が数十万行等になり限界に近づいています。


macのスペックは
2.4GHz intel core i5, メモリ8GB
です。
excelはexcel 2011です。
基本的にデータはPaaSに入っています。

方策としては下記がありますが、メリット、デメリットあります。
1. windowsのハイパフォーマンスモデル(core i7、メモリ16GBくらい)を購入し、引き続きexcelを使う
-excelはやはりGUI操作出来るので便利
-macよりexcelの動作は速い気もするが、いずれ限界が来る?

2. macでRで作業する
-vlookupなどがないのであまり便利ではない
-スペック的な限界

3. AWSでハイパフォーマンスインスタンスでごりごり計算する
-DB操作(MAP REDUCE)などを勉強しなくてはならない
-CUIなので面倒
-結構料金が高い

他にも有益なメリット、デメリットがあれば教えて下さい。

回答の条件
  • 1人5回まで
  • 13歳以上
  • 登録:2013/02/01 14:59:44
  • 終了:2013/02/08 15:00:04

回答(6件)

id:taknt No.1

きゃづみぃ回答回数13539ベストアンサー獲得回数11982013/02/01 15:05:01

ポイント34pt

何が限界なのでしょうか?

集計するのに 時間がかかるとか?

普通DBは 大量データを扱うために インデックスというのを設けます。
そして それで 対象となるデータを素早く探し出し処理します。

数十万件もレコードがあるならば DBに移行させたほうがいいでしょう。

http://www.filemaker.co.jp/solutions/database-basics/mac-database.html

他5件のコメントを見る
id:Hajimex

そうですね。windowsに比べて 遅いですか?というのが質問の意図でございます。

2013/02/01 15:17:07
id:taknt

マシンのスペックによるんじゃないでしょうか。

2013/02/01 15:19:57
id:Hajimex

実際にやりたいことは集計などです。

既存のデータから簡単な計算をして新しいパラメータを作ったり、
いくつかのDB間でvlookupのようなことをしたり、です。

当方簡単なDB文は書けますが、プログラマーではありません。
プログラムをがっつり勉強してCUIで操作して行くのもありですが、
excelだとビジュアル系が強いので新たな発見もしやすくなるというメリットもあります。

id:taknt No.2

きゃづみぃ回答回数13539ベストアンサー獲得回数11982013/02/01 15:14:46

ポイント34pt

>いくつかのDB間でvlookupのようなことをしたり、です。

こういうのは ひとつのテーブル内に 取り込んでおくと 速くなります。
基本、容量を少なくするため コードだけを テーブルに持たせますが、
コードと名称の二つを テーブルに入れておけば、いちいち名称をもってこなくてもよくなりますのでその分 速くなるのです。

当然ながら 同じコードは 同じ名称となるようにしておかなければ なりませんが。

id:oil999 No.3

oil999回答回数1728ベストアンサー獲得回数3202013/02/01 18:20:43

ポイント33pt

同一マシンスペックであれば、MacのExcelの方がWindowsより動作が軽快です。
しかしながら数十万行というのは、Excelには不向きなデータ量です。どのようなデータ分析をされているのか分かりませんが、Rは第一選択肢になります。

RにVlookupがないということですが、抽出であれば %in% 関数を使って代用できます。
詳しくは下記をご覧下さい。
http://nakaoka.tumblr.com/post/460730155/r-vlookup

いずれにしても、動作が重くなっているのは数十万行のデータをGUI表示するために起きていることなので、計算式で処理できるRや、場合によってはSQLによって処理すれば(MacにはMySQLが標準装備)、お持ちのMacでも十分にデータ処理できるはずです。

id:Hajimex

これいいですね!

2013/02/01 19:43:59
id:Hajimex

excelのvlookupは定規と鉛筆でアナログにやってる感じですが、
こっちはコマンド一発って感じで軽快です。

他にもRの便利機能なんかを紹介しているページがあれば教えて下さい。

2013/02/01 19:50:21
id:pretaroe No.4

pretaroe回答回数531ベストアンサー獲得回数752013/02/01 20:31:26

ポイント33pt

>ちなみにwindows上では、mac上よりexcelが早かったりするかご存知ですか?

たぶん、誤差の範囲だと思う。

>データの量が数十万行等になり限界

データー量を減らす工夫ができない限り、EXCELでは限界に近づいてると思う
最終的にEXCELで処理するデータを減らせばよいのですが、たぶんそれが数十万なのでしょうね。

>いくつかのDB間でvlookupのようなことをしたり、です。

GUIでというのなら、MS-ACCESSを使用してみては?
EXCELでやっている処理がどういうものか不明ですが、複数DBからの集計程度ならAccessでも可能ですし、EXCELよりは効率よく行うので、データ量の限界はEXCELよりも上です。




Rの追加機能パッケージであるRコマンダーをRに組み込みこめば、SPSSやかつてのStatViewのように、マウス操作だけで解析を行うことができるようになります。しかし、標準で組み込まれている統計解析の種類は限定されていました。
http://www.jichi.ac.jp/saitama-sct/SaitamaHP.files/statmed.html

id:papa-tomo No.5

パパトモ回答回数362ベストアンサー獲得回数1072013/02/06 16:46:51

ポイント33pt

MacもWindowsも仕事で使っていますが、ほぼ同じスペックのCPUの仕様なら、MacもWindowsほぼ同じ処理能力ですね。問題は、Excelで処理を行っている事だと思います。

MacにしろWindowsにしろデータベースへの移行は避けられないと思います。Windowsは情報が沢山あるとおもいますから、Macの話だけします。

Macでデータベースの定番は・・・

  • MySQL
  • PostgreSQL
  • Filemaker
  • 4D

じゃないかと思います。このうち最も手軽とされているのは、Filemakerですが、FilemakerはGUIが古臭く、個人的には黄昏れた感じがします。4Dは、参考書が少ないのが難点ですが、エンジンと言語は強力です。MySQLとPostgreSQLは、何かしらの開発言語のスキルが必要になりますので、Excelからだとハードルが高すぎるかもしれません。Excelからの移行なら、MacではFilemakerか4Dが妥当なラインじゃないかと思います。WindowsでAcessで必死になるよりは、マシだと思います。

いずれも一丁一旦ですが、どのデータベースでもExcelから比べたらパフォーマンスは比較にならないほど良いです。百万レコード程度ならどのデータベースでも、インデックス無しで一瞬でソートや検索が行えるはずです。またどのデータベースもお試しが利くので、一度試してみてはいかがでしょうか。

id:mahosuto No.6

otusoham回答回数789ベストアンサー獲得回数282013/02/08 14:29:39

ポイント33pt

http://okwave.jp/qa/q4659053.html

特別な容量の制限はありませんが、パソコンのメモリ(エクセルが利用出来る分)に読み込めるサイズが限界になるでしょう。

と書いてあるので、メモリを増やしてみてはどうでしょうか。

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません