しかし、エントリ数が6万、キーワード数が11万で、そのままメモリ上に展開して行列計算することができません。
ファイルに行列を落として計算してみましたが、遅すぎて使い物になりませんでした。
こういったメモリ上に展開して計算できないような行列計算を行う方法がありましたら、手がかりだけでもかまいませんので御教示ください。
よろしくお願いいたします。
どの程度中身のある行列(ゼロでない要素がどうなっているかという意味です)か分からないのですが、仮にゼロ要素が多ければ「疎行列」として計算を簡易化する方法があります。
http://ja.wikipedia.org/wiki/%E7%96%8E%E8%A1%8C%E5%88%97
もう自分ではやっていないので、見当違いなことかもしれないですが、こちらのライブラリーなどを利用するなども選択肢の一つかと思います。
ありがとうございます。
あまりよくわかっていないのですが疎行列と疎行列の乗算の解は、疎行列なのでしょうか。
解が疎行列にならないようだと、最初の計算はオンメモリでできそうですが、その解を利用した計算ができなくなってしまうような気がします。
pythonのnumpyやscipyやなんかは、メモリに乗りきらないものを取り扱う機能があったりするのでしょうか。
参考リンク、見てみます。ありがとうございました。