810(2): デフォルトの名無しさん [sage] 2017/01/23(月) 00:41:33.95 ID:ft2qOqRV(1/2) AAS
803じゃないけど、

10〜20個くらいのプロパティを持つクラス（ほとんどstring型）の、数百万個単位のインスタンスを処理したい
（現在百数十万個だがデータは日々増えていて、将来的には500万個以上のデータを扱いたい）
データ追加時を除けば1つのデータのプロパティを書き換えることはあまりない
全データを対象に集計や抽出をバリバリやる

今はこのクラスのジェネリックリストでメモリ上に保持していて、XmlSerializerとStreamReader/Writerでロード/セーブしてるけど、
500MB以上のファイル読み書きに十秒単位で時間が掛かるようになってきてしまい、使用メモリも多いときは1GBに届きそうになってきた

個人のPCでも実現出来る範囲で何か工夫して軽量化するとすれば、どういうやり方があるだろうか
データベースを使うと却って重くなる？

989(3): デフォルトの名無しさん [sage] 2017/01/29(日) 23:27:53.21 ID:F8/CipCU(3/4) AAS
>>988
すいません、「DBから取り出す」という表現が何を指しているのかよくわかりません…

いま思案しているのはデータの集計作業時ではなく登録作業時の話です
各データについて、一部のプロパティの値を確定させるには処理時間がかなり必要になっています

追加登録したいデータたちについて、このプロパティ値をあらかじめすべて確定するのは非常に時間がかかるので
まず弱比較でざっくりと追加可能な候補（プロパティ値を確定しなければならないデータたち）を絞っているのです

今はこんな風にしてます(実際のコードでは日本語変数じゃないです)

候補データリスト = 追加したいデータのリスト.Except(全リスト, new MyClass_WeakComparator()).ToList();
↓
候補データリスト について全プロパティ確定作業; //←重い
↓
全リスト = 全リスト.Union(候補データリスト).ToList();