人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

仕事上簡単な統計処理を行うことが多いんですが
すぐにエクセルのサイズ上限に達することがおおく
いろいろとストレスが多いです。

現在R言語に目をつけているんですが、

・処理データ量の上限


についてご存知なかたいれば教えてください。

●質問者: HYT
●カテゴリ:経済・金融・保険 科学・統計資料
✍キーワード:R言語 エクセル サイズ ストレス データ
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● arakai
●5ポイント

メモリーサイズに依存します。64ビットには対応していないので通常windowsだと2Gですかね。

http://d.hatena.ne.jp/repose/20090416

http://74.125.153.132/search?q=cache:Fwtpj3WEO4UJ:www.okada.jp.o...メモリー 上限&cd=2&hl=en&ct=clnk&gl=jp

2.7 R が使うメモリーのサイズに制限があるように見えるのですが. (There seems to be a limit on the memory it uses!)

実際に制限があります.

その上限値は, コマンド・ラインのフラグ --max-mem-size で設定されます (「Windows 版 R をインストールするには? (How do I install R for Windows?)」参照). デフォールト値は, 物理的な RAM のサイズと 1Gb の小さいほうの値です. 10M 以上の任意の値に設定することができます (10M 未満では R は動作しません). ですが, 注意してください: Windows には (ほとんどのバージョンで) ユーザーの仮想メモリーに 2Gb の最大値があり, その一部はプロセスによって予備に取っておくことができますが, 使用することはできません.

メモリー・マネジャーの働き方のため, 空きメモリーがあっても R がそれを利用できない可能性があります.

メモリーの用法についての情報は, ?Memory および ?memory.size をご利用ください. 動作中の R のセッションの中で memory.limit を呼ぶことにより, メモリーの上限値を大きくすることができます.

フラグ --max-mem-size の値があまりに大きすぎると R の起動に失敗することが知られています: その上限値は Windows 2000 Professional では約 1.7Gb のようです.

別のメモリー・マネジャーを使うように R をコンパイルすることができます. そのメモリー・マネジャーは, 大きいサイズのメモリーを使うのに優れていますがかなり遅くなります (ある種の作業では R が数倍遅くなります).

◎質問者からの返答

ありがとうございました。


2 ● ニャンざぶろう
●65ポイント ベストアンサー

Rで扱えるデータスペースの上限については

Rで扱える行列のサイズの上限

http://www.okada.jp.org/RWiki/?%BD%E9%B5%E9%A3%D1%A1%F5%A3%C1%20...

に記述があります。

ただし簡単な統計処理を膨大なデータに対して行う場合は

DBで簡単にフィルタリングしてからRで処理した方が殆ど上限を気にしなくて良くなります。

データベースとR

http://www.okada.jp.org/RWiki/?%A5%C7%A1%BC%A5%BF%A5%D9%A1%BC%A5...

DB(AccessやSQL server)とExcelの組合せでも同様なことが行えますので

まずは「簡単な統計処理」の内容が、DBのSQL(Query)やLINQで絞り込むことが可能か検討される方が

簡単に処理上限を回避可能ではないかと考えます。

◎質問者からの返答

ありがとうございました。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ