人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

Microsoft Accessで3.5GB程度のCSVを読み込ませたかったのですが、インポートできませんでした。おそらくファイルが大きすぎるのだと思います。
ソフトウェアは問わない(もはやAccessじゃなくてもよくWindows上で動作するDBであればなんでもいい)ので、大容量のCSVのインポートが可能な方法を探しています。
200万行ほどあります。

●質問者: kamiochiai
●カテゴリ:コンピュータ
✍キーワード:access CSV dB Microsoft Windows
○ 状態 :終了
└ 回答数 : 7/7件

▽最新の回答へ

1 ● acute_hello_to
●30ポイント

CSVを直接インポートさせるのではなく、VBAでファイルを読み込んで、SQL分でINSERTさせるプログラムを作成して、試しては如何でしょうか?

同じように、数十万行のデータを読み込ませたときには、やはりインポートではうまくいきませんでしたが、プログラムでは処理できました。

◎質問者からの返答

なるほど、直接のインポートは難しいわけですね。

ありがとうございます。


2 ● mass3
●30ポイント

Postgresqlはいかがでしょうか?

http://www.postgresql.jp/

MS-Accessと違って操作にはある程度のSQLの知識が必要ですが、

UNIXサーバ由来の本格的なRDBMSです。200万行のデータも問題なく扱えると思います。

商用にも無料で使うことができます。(クライアント数による料金もありません)

ダウンロードはこちらから(↓)

http://www.postgresql.org/ftp/binary/v8.1.4/win32/

postgresql-8.1.4-1-ja.zipをダウンロードしてください。

出てきたexeファイルを実行してインストールします。

一緒にインストールされるpgAdmin3である程度の管理はGUIでできます。

CSVのインポートはコマンドラインからやった方がよいと思います。

(psqlの\copyコマンドを使います。)

日本語のマニュアルは

http://www.postgresql.jp/document/

にあります。

◎質問者からの返答

なるほど、

Windows上ではポストグレスは使ったことがなかったので、試してみようと思います。


3 ● bash0C7
●30ポイント

Microsoft SQL Server: SQL Server 2005 Express Edition

MicrosoftのSQL Server Express Editionはいかがでしょうか。

Accessと同じMicrosoft製なので、他のDBに比べて乗り換えは容易と思われます。

◎質問者からの返答

ありがとうございます。

ファイルサイズに問題がなければやってみようと思います。


4 ● b-wind
●30ポイント

http://www.hioki.co.jp/jp/download/3169/csvcut_j.html

どんな方法でインポートするにせよ、ちょっとファイルが大きすぎます。

まずは分割して少しずつロードしてみてはいかがでしょうか?

◎質問者からの返答

3分割ぐらいで試してみようと思います。

いずれにしてもAccessではmdb1個の上限がありダメっぽいです


5 ● kurukuru-neko
●50ポイント

200万行= 2.0 * 1000 * 1000

3.5GB = 3.5 * 1000 * 1000 * 1000 / 2000000

= 1750 Char

===================

無料で使えるのは、MySQL,PostgreSQL。

有料だとSQL Server,Oracle等

PostGreSQLだとCOPY

http://www.postgresql.jp/document/pg721doc/reference/sql-cop...

MYSQLだとcsvのテーブルをタイプを定義して

別のテーブルにコピーすればよい。

CSVファイルをimportする場合、一度にimportすると

やはり止まるような気がする。

複数に分けてimportした方がよいと思います。

===============================================

PostGreSQL

Maximum size for a database unlimited

http://www.postgresql.org/docs/faqs.FAQ.html

MySQL 5.1

FAT32 2G NTFS 2TB

http://dev.mysql.com/doc/refman/5.0/en/table-size.html

Accessは最大データベースサイズ 2G

http://office.microsoft.com/ja-jp/assistance/HP052741431041....

MS系 SQL Server Express

データベースサイズの制限 4G

インポート機能がないので ×

http://www.microsoft.com/japan/sql/prodinfo/features/compare...

Oracle 10g Express edition

データベースサイズの制限 4G

http://www.oracle.com/technology/products/database/xe/index....

◎質問者からの返答

求めている理想的な回答がいただけて嬉しいです。

上限のないポストグレスに分があるみたいですね。


1-5件表示/7件
4.前の5件|次5件6.
関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ