[過去ﾛｸﾞ] SQLite 5 (980ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されているため､ｷｬｯｼｭを表示しています｡過去ﾛｸﾞﾒﾆｭｰ
86(6): 2007/04/27(金)19:35 ID:??? AAS
sendmail のログを1〜2年分解析するために
Perl + DBD::SQLite で1000万行程度突っ込んだことがある。
■環境
CPU: Pentium 4 2.4GHz
MEM: 1GB
HDD: 5400rpm 80GB
OS: Windows XP SP2
Perl: ActivePerl 5.8.8
■こんな処理をやった
1.ログの各行毎に、
省16
87: 86 2007/04/27(金)19:41 ID:??? AAS
で、上記の通り SQLite はインデックス作成が妙に遅かったので、他の DBMS と比べてみた。
環境は同じで、行数は1000万じゃやってらんないので、そのうちの一部、80万行程度を材料にした。
■SQLite 3.3.5 (DBD::SQLite 1.12)
insert: 7:09
index1: 0:17
index2: 10:49
total: 18:15
■MySQL 5.0.21 (DBD::mysql 3.0002)
insert: 22:45
index1: 8:35
省16
91(1): 2007/04/27(金)22:07 ID:??? AAS
>>86
ログ解析だけならもっとなんとかできんのかｗｗ
時間かかりすぎだろｗｗｗ
92: 86 2007/04/28(土)01:45 ID:??? AAS
>>88
あーそういえば意識してなかった。
デフォルトはどっちなんだろうか
>>91
インデックス作成が異様に遅いのがね…
結局作らない方がトータルの処理は速かったな…
93(1): 2007/05/01(火)10:55 ID:??? AAS
>>86
このとき、 SELECT の方の性能は比較してない？
110: 86 2007/05/02(水)01:29 ID:??? AAS
>>93
してない。
仮にやったとしても、その時の用途だと
INSERT や CREATE INDEX にかかる時間と比べると
SELECT はゴミのように一瞬で終わったからほとんど比較にならなかっただろう。
>>94
一応マジレスしておくと、SQLite にもトランザクションはあるよ。
っていうかトランザクション使わないとどうしようもなく遅くなる。
>>86のようなケースなんか100倍遅くなってもおかしくない。
112: 86 2007/05/02(水)03:09 ID:??? AAS
>>111
最初そうしてみたんだけどさらに果てしなく遅かった
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.285s