仕事上簡単な統計処理を行うことが多いんですが

すぐにエクセルのサイズ上限に達することがおおく
いろいろとストレスが多いです。

現在R言語に目をつけているんですが、

・処理データ量の上限


についてご存知なかたいれば教えてください。

回答の条件
  • 1人1回まで
  • 登録:2009/07/20 02:18:12
  • 終了:2009/07/20 04:43:16

ベストアンサー

id:karuishi No.2

ニャンざぶろう回答回数764ベストアンサー獲得回数1282009/07/20 02:55:26

ポイント65pt

Rで扱えるデータスペースの上限については

Rで扱える行列のサイズの上限

http://www.okada.jp.org/RWiki/?%BD%E9%B5%E9%A3%D1%A1%F5%A3%C1%20...

に記述があります。

ただし簡単な統計処理を膨大なデータに対して行う場合は

DBで簡単にフィルタリングしてからRで処理した方が殆ど上限を気にしなくて良くなります。

データベースとR

http://www.okada.jp.org/RWiki/?%A5%C7%A1%BC%A5%BF%A5%D9%A1%BC%A5...

DB(AccessやSQL server)とExcelの組合せでも同様なことが行えますので

まずは「簡単な統計処理」の内容が、DBのSQL(Query)やLINQで絞り込むことが可能か検討される方が

簡単に処理上限を回避可能ではないかと考えます。

id:YHYHYH

ありがとうございました。

2009/07/20 04:42:34

その他の回答(1件)

id:sterna No.1

arakai回答回数267ベストアンサー獲得回数62009/07/20 02:40:57

ポイント5pt

メモリーサイズに依存します。64ビットには対応していないので通常windowsだと2Gですかね。

http://d.hatena.ne.jp/repose/20090416

http://74.125.153.132/search?q=cache:Fwtpj3WEO4UJ:www.okada.jp.o...メモリー 上限&cd=2&hl=en&ct=clnk&gl=jp

2.7 R が使うメモリーのサイズに制限があるように見えるのですが. (There seems to be a limit on the memory it uses!)

実際に制限があります.

その上限値は, コマンド・ラインのフラグ --max-mem-size で設定されます (「Windows 版 R をインストールするには? (How do I install R for Windows?)」参照). デフォールト値は, 物理的な RAM のサイズと 1Gb の小さいほうの値です. 10M 以上の任意の値に設定することができます (10M 未満では R は動作しません). ですが, 注意してください: Windows には (ほとんどのバージョンで) ユーザーの仮想メモリーに 2Gb の最大値があり, その一部はプロセスによって予備に取っておくことができますが, 使用することはできません.

メモリー・マネジャーの働き方のため, 空きメモリーがあっても R がそれを利用できない可能性があります.

メモリーの用法についての情報は, ?Memory および ?memory.size をご利用ください. 動作中の R のセッションの中で memory.limit を呼ぶことにより, メモリーの上限値を大きくすることができます.

フラグ --max-mem-size の値があまりに大きすぎると R の起動に失敗することが知られています: その上限値は Windows 2000 Professional では約 1.7Gb のようです.

別のメモリー・マネジャーを使うように R をコンパイルすることができます. そのメモリー・マネジャーは, 大きいサイズのメモリーを使うのに優れていますがかなり遅くなります (ある種の作業では R が数倍遅くなります).

id:YHYHYH

ありがとうございました。

2009/07/20 04:42:18
id:karuishi No.2

ニャンざぶろう回答回数764ベストアンサー獲得回数1282009/07/20 02:55:26ここでベストアンサー

ポイント65pt

Rで扱えるデータスペースの上限については

Rで扱える行列のサイズの上限

http://www.okada.jp.org/RWiki/?%BD%E9%B5%E9%A3%D1%A1%F5%A3%C1%20...

に記述があります。

ただし簡単な統計処理を膨大なデータに対して行う場合は

DBで簡単にフィルタリングしてからRで処理した方が殆ど上限を気にしなくて良くなります。

データベースとR

http://www.okada.jp.org/RWiki/?%A5%C7%A1%BC%A5%BF%A5%D9%A1%BC%A5...

DB(AccessやSQL server)とExcelの組合せでも同様なことが行えますので

まずは「簡単な統計処理」の内容が、DBのSQL(Query)やLINQで絞り込むことが可能か検討される方が

簡単に処理上限を回避可能ではないかと考えます。

id:YHYHYH

ありがとうございました。

2009/07/20 04:42:34

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません