10GBのCSVファイルのソートが遅いのはなぜですか？ (49ﾚｽ)
10GBのCSVファイルのソートが遅いのはなぜですか？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
1: デフォルトの名無しさん [sage] 2023/06/12(月) 21:20:45.91 ID:F1HJC183 CSVファイルは検索が速いって聞きました ではなぜソートが遅いのでしょうか？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/1
25: デフォルトの名無しさん [] 2023/08/10(木) 20:54:16.43 ID:TWiH3Zx3 10GBのファイルを書き換えながらソートしているのかな？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/25
26: デフォルトの名無しさん [sage] 2023/08/13(日) 12:14:40.57 ID:mxfdwtiA Diskのデフラグ並みだな http://mevius.5ch.net/test/read.cgi/tech/1686572445/26
27: デフォルトの名無しさん [sage] 2023/08/16(水) 10:29:29.77 ID:g5j2pEtW ｹﾞｯ!!(/|||￣▽)ｙ-ξ⌒◇ヾ(￣ ￣；)ｼﾞｭｯ http://mevius.5ch.net/test/read.cgi/tech/1686572445/27
28: デフォルトの名無しさん [sage] 2023/08/27(日) 20:18:09.89 ID:m39XqcII ( Д ) ﾟ ﾟ http://mevius.5ch.net/test/read.cgi/tech/1686572445/28
29: デフォルトの名無しさん [sage] 2023/09/01(金) 20:23:04.85 ID:MSzaVfqT どないやねん、意味がわからん http://mevius.5ch.net/test/read.cgi/tech/1686572445/29
30: デフォルトの名無しさん [] 2023/09/12(火) 12:29:39.47 ID:QOX8wfhQ 何行何列か示せと http://mevius.5ch.net/test/read.cgi/tech/1686572445/30
31: デフォルトの名無しさん [] 2023/09/12(火) 12:38:34.37 ID:A3YXlMvb >>30 1億行、125列 http://mevius.5ch.net/test/read.cgi/tech/1686572445/31
32: デフォルトの名無しさん [sage] 2023/09/12(火) 12:46:05.28 ID:DJD1APYm こんな頭の悪いスレ上げるのはなぜですか？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/32
33: デフォルトの名無しさん [] 2023/09/12(火) 14:42:44.77 ID:A3YXlMvb なぜ下げるんだい？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/33
34: デフォルトの名無しさん [sage] 2023/09/12(火) 14:59:33.38 ID:BQ9Iu4K/ なんで10GBもあるデータをCSVで管理しようと思ったんだろうな http://mevius.5ch.net/test/read.cgi/tech/1686572445/34
35: デフォルトの名無しさん [] 2023/09/12(火) 17:11:08.62 ID:zmLL4dpk 10GBもあるデータをCSVにしようとした訳ではなく 何も考えずにCSVで管理してたらいつの間にか10GBになったんだろう http://mevius.5ch.net/test/read.cgi/tech/1686572445/35
36: デフォルトの名無しさん [sage] 2023/09/12(火) 18:09:26.28 ID:BQ9Iu4K/ そっかｗ http://mevius.5ch.net/test/read.cgi/tech/1686572445/36
37: デフォルトの名無しさん [] 2023/09/14(木) 15:11:27.86 ID:Ur1UGoF9 >>31 俺だったらなんでも良いからまずRDBに入れちゃうかも。 内容にもよるだろうが、とりあえずSQLiteとかな。 http://mevius.5ch.net/test/read.cgi/tech/1686572445/37
38: デフォルトの名無しさん [] 2023/09/15(金) 19:50:24.13 ID:V4ggyvBY 巨大なデータをSQLiteで処理するためのメモ https://fanぶろぐs.jp/scripts/archive/11/0 http://mevius.5ch.net/test/read.cgi/tech/1686572445/38
39: デフォルトの名無しさん [sage] 2023/09/15(金) 20:30:51.52 ID:mLRMgWkC やさいい http://mevius.5ch.net/test/read.cgi/tech/1686572445/39
40: デフォルトの名無しさん [sage] 2023/09/27(水) 20:16:21.16 ID:PKUrAitV まず各ブロック当たり1000行とかに分ける。ブロック単位でソートする。 1.ブロックA/B を連結してAB間でソート。 B=全体の数/2 2.ブロックA+1, B+1 で連結してソート 3. ブロックA+全体の数/2- 1(前半最後まで)、ブロックB+前半最後までを連結してソート 4.今度は全体の前半で1-3 風にブロックソート。後半〜最後までで1-3 風にブロックソート 5. 前半〜前半+3/4 でブロックソート、前半+2/4〜前半+4/4 でブロックソート、 ...... ・・・・ ってのを大昔 BASIC で作ったのですが、なぜかデータがゼロに なってしまうバグが出て作るのを止めてしまいました。ちゃんちゃん。駄目じゃん俺。 http://mevius.5ch.net/test/read.cgi/tech/1686572445/40
41: デフォルトの名無しさん [] 2023/10/04(水) 21:29:03.45 ID:ja1//dn8 だいたいデータの入れ替えに時間が掛かるんだよな メディアがHDDとかだと尚更 普通はインデックスで実データを間接参照させるんだが まあ、やって無いんだろうなぁ http://mevius.5ch.net/test/read.cgi/tech/1686572445/41
42: デフォルトの名無しさん [] 2023/10/05(木) 11:43:25.54 ID:AvBTKCCq 速度を優先するなら固定長CSVの採用をオススメする 各行へのランダムシークが出来るし並び替えに必要な行の入れ替えも可能になる 最近のutf-8などを使いたい場合は文字数での管理が難しくなるがあくまでもストレージ上でのサイズを基準にして クラスタサイズも考慮し列サイズを決めていこう 検索性能を上げるには外部インデックスを作るしかないだろう ファイルサイズは100倍ぐらいに増えるかもしれないが単純なファイルキャッシュだけで下手なDBでは敵わない速度が出せるだろう http://mevius.5ch.net/test/read.cgi/tech/1686572445/42
43: デフォルトの名無しさん [sage] 2023/10/08(日) 19:41:45.47 ID:Unktq8Si >>31 125列のレコードが1億行あったらカンマだけで10GB超えるんだが http://mevius.5ch.net/test/read.cgi/tech/1686572445/43
44: デフォルトの名無しさん [sage] 2023/10/12(木) 21:43:44.24 ID:5lP2cmIF ひとつが100MBくらいのファイルになるように ディレクトリ構造でB木をつくって(アンバランスでもOK) 個々にソートしたものを最後に結合 http://mevius.5ch.net/test/read.cgi/tech/1686572445/44
45: デフォルトの名無しさん [sage] 2024/11/08(金) 00:13:58.03 ID:0/QV09gu csvだから遅いとかはない、デシリアライズして云々するよりそのままテキスト（あるいはその部分文字列、フィールド）として比較するならむしろ有利 単にサイズの問題、メモリより十分小さいサイズに分割（今どきなら数GBなんで100MBあたり）して個別にソート、マージ むしろテキストにシリアライズされたデータにおいて、最も実用的な類のフォーマットに入る http://mevius.5ch.net/test/read.cgi/tech/1686572445/45
46: デフォルトの名無しさん [] 2025/05/10(土) 00:23:13.60 ID:Fj2J3+nY とすと http://mevius.5ch.net/test/read.cgi/tech/1686572445/46
47: デフォルトの名無しさん [sage] 2025/05/10(土) 14:35:35.59 ID:7IHH6CUB クソスレかとおもったら想像以上に真面目に考察してるスレだったw http://mevius.5ch.net/test/read.cgi/tech/1686572445/47
48: デフォルトの名無しさん [sage] 2025/05/10(土) 20:02:05.08 ID:ij0zz7My マジレスはあるかもしれんが別に真面目な考察はないだろ 実は良スレだったんだと雰囲気で既成事実にするな http://mevius.5ch.net/test/read.cgi/tech/1686572445/48
49: デフォルトの名無しさん [sage] 2025/05/12(月) 11:20:32.62 ID:Zw0HuL6G DBをエクスポートしたら数GB出てきたとか普通だけど http://mevius.5ch.net/test/read.cgi/tech/1686572445/49
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.302s*