人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

Excel で処理できない長大なデータを扱うのに便利なソフトウェアは?

やりたいこと
・10行に1行の割合でデータ抽出
・特定列の値を基準に行を並べ替える

できなくてよいこと
・グラフ作成
・表計算

●質問者: hkt_o
●カテゴリ:コンピュータ
✍キーワード:Excel グラフ ソフトウェア データ 並べ替え
○ 状態 :終了
└ 回答数 : 6/6件

▽最新の回答へ

1 ● きゃづみぃ
●20ポイント

http://www.hatena.ne.jp/awindow?

エクセルで扱えるのは ひとつのシートで65536行までです。


それ以上だと アクセスとかになるでしょうが、アクセスでも数万件程度に してたほうがいいです。

それ以上は、SQL サーバーか、オラクルなどのデータベースとなります。

◎質問者からの返答

アクセスは高機能すぎまして……。勉強するのが面倒くさいです。今回のはてなの意図は、エクセルより高機能な表計算ソフトがほしいという話ではなくて、エクセルで処理するための前工程に適したソフトウェアがほしい、ということなのです。ソートした上位分だけエクセルに読み込むとか、10分の1、100分の1だけサンプリングしてエクセルに読み込むとか。


2 ● youkan_ni_ocha
●20ポイント

http://www.chimimo.com/sed/

RetroEngine: sed アーカイブ

DOSの頃の古いソフトです。処理が並べ替えとかテキストをいじるだけなので、こういうソフトが一番なんですが、マクロを組まないといけないので、その部分が大変でしょうね。自分でプログラム組むよりも楽、あと考えられるのは、強制的にファイルを分割して、エクセルで処理するというやり方だけど、並べ替えがあるから、ちよっと無理かな。

◎質問者からの返答

一時期、Perl の教科書と首っ引きでいろいろやっていた時期もあったのですが、ぜんぜん頭に入らなくて、使わなくなったとたんに全部忘れました。今また、あの不毛な勉強を繰り返す気になれないのです。

現状

Node 1,1.82560E+07

Node 2,5.38378E+06

Node 3,2.08631E+07

Node 4,5.50201E+06

Node 5,1.87050E+07

Node 6,5.74940E+06

Node 7,1.74420E+07

Node 8,5.87463E+06

Node 9,1.67947E+07

こんなデータが156万行あるのですが、ここでやりたいことは、単にカンマの後ろの数字の上位10個を選びたいだけだったりします。こういったデータ処理がたくさんあるんですよ、今日。今日、ってのがお笑いなんですが。正規表現も、何度使っても頭に入らないのであれなんですけれども、仕方ない、とりあえずsedでなんとかしますかね。常用しているSpeeeeedはエラーを起こすのですが、sedなら大丈夫なのかな。


3 ● youkan_ni_ocha
●20ポイント

http://www.vector.co.jp/soft/winnt/business/se356762.html

ズバリ自動化Waha! Transformer Personal(WindowsNT/2000/XP / ビジネス)

データベースソフトで簡単に使えそうなものという事で、こういうのは、どうでしょう。

http://www.vector.co.jp/soft/win95/business/se301161.html

CS Editor(Windows95/98/Me / ビジネス)

こんなのも

◎質問者からの返答

CS Editor がメモリ不足で落ちました。156万行あってもファイルサイズは高々40MB程度。2GBのメモリをつんでいるのに、なぜ落ちるのかな。ズバリ自動化も検討してみます。


4 ● minipig
●20ポイント

http://www.spss.co.jp/

統計解析・データマイニング SPSS

SPSSはどうですか?

大学では統計ソフトでよくはいってます。

◎質問者からの返答

オーバースペックでは?


5 ● qa2
●20ポイント

http://k2top.jpn.org/index.php?K2Editor

K2Editor - K2 Software's Page

もう見ていないかな…


テキストエディタしか使えない私の解決策としては

リンク先のような正規表現の検索置換ができるテキストエディタで

検索語:(^.*¥n)^.*¥n^.*¥n^.*¥n^.*¥n^.*¥n^.*¥n^.*¥n^.*¥n^.*¥n

置換語:¥1,

とすると、10行が1行になります。

単純に間引くだけならこれでもできると思うのですが、問題はそのファイルが開くかどうかですね。

その後、軽くしたデータをExcelで開いては?

◎質問者からの返答

いやー、私も間引くだけなら Speeeeed でやっちゃうところなんですけれども、156万行というのが大きすぎるらしくて、エラー落ち。CSV エディターの類もファイル読み込みでアウト。

で、結局、今日は AWK の教本と首っ引きで非効率なスクリプトを書いて処理しました。というわけで目先の課題はもう解決しているのですが、何かいい回答がついていないかなー、と期待中。


1-5件表示/6件
4.前の5件|次5件6.
関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ