10GBのCSVファイルのソートが遅いのはなぜですか？ (49ﾚｽ)
10GBのCSVファイルのソートが遅いのはなぜですか？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
1: デフォルトの名無しさん [sage] 2023/06/12(月) 21:20:45.91 ID:F1HJC183 CSVファイルは検索が速いって聞きました ではなぜソートが遅いのでしょうか？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/1
2: デフォルトの名無しさん [] 2023/06/13(火) 08:52:56.97 ID:JBnp9ago べ、べつに遅くないし！ http://mevius.5ch.net/test/read.cgi/tech/1686572445/2
3: デフォルトの名無しさん [sage] 2023/06/13(火) 09:49:32.67 ID:Xu7LyXF8 >>1君がバカなのは何故ですか って言われて答えられないでしょうそれと同じ http://mevius.5ch.net/test/read.cgi/tech/1686572445/3
4: デフォルトの名無しさん [] 2023/06/13(火) 09:53:59.11 ID:meEyuUg2 マジレスしとくと スレタイの "10GB" と >>1 の質問が無関係だな http://mevius.5ch.net/test/read.cgi/tech/1686572445/4
5: デフォルトの名無しさん [sage] 2023/06/13(火) 13:36:34.95 ID:4HUnX0Fj さっき霊魂を見たんですが、どうしたらいいですか http://mevius.5ch.net/test/read.cgi/tech/1686572445/5
6: デフォルトの名無しさん [sage] 2023/06/13(火) 16:18:52.30 ID:u7AmJNUj 「…見なかったことにしといてやる！」と宣言すればおけ http://mevius.5ch.net/test/read.cgi/tech/1686572445/6
7: デフォルトの名無しさん [sage] 2023/06/13(火) 19:37:20.82 ID:ixSRP7mF よかろう、ならばビットマップファイルだ http://mevius.5ch.net/test/read.cgi/tech/1686572445/7
8: デフォルトの名無しさん [sage] 2023/06/22(木) 06:41:18.88 ID:k/qBouFf >>1 それは ヒ・ミ・ツ。 ﾌﾌﾌｯ… http://mevius.5ch.net/test/read.cgi/tech/1686572445/8
9: デフォルトの名無しさん [] 2023/06/29(木) 13:51:47.41 ID:IO1TL2jD 10GBだから http://mevius.5ch.net/test/read.cgi/tech/1686572445/9
10: デフォルトの名無しさん [] 2023/06/30(金) 03:16:09.95 ID:KO9roK1Y 昭∞！！！！ 大∞！！！！！ 昇∞！！！！！！ 漠∞！！！！！！！ http://mevius.5ch.net/test/read.cgi/tech/1686572445/10
11: デフォルトの名無しさん [] 2023/08/09(水) 07:21:27.86 ID:Bb1AJAu+ >>1 速いと感じるか遅いと感じるかは個人の感覚の問題 何秒なら速いのか、何と比較して速いのか 他人が遅いというから遅いとか小学生かよ http://mevius.5ch.net/test/read.cgi/tech/1686572445/11
12: デフォルトの名無しさん [] 2023/08/09(水) 07:46:15.85 ID:Aj0Whal0 >>11 じゃあ君は速いとでも？ｗ http://mevius.5ch.net/test/read.cgi/tech/1686572445/12
13: デフォルトの名無しさん [] 2023/08/09(水) 07:47:25.44 ID:Aj0Whal0 CSVのソートが遅いのは社会的共同体の中で自然に共有されうる普遍的事実である http://mevius.5ch.net/test/read.cgi/tech/1686572445/13
14: デフォルトの名無しさん [sage] 2023/08/09(水) 10:35:23.16 ID:ZMTba8c6 まぁRDBMS使った方がいいわな http://mevius.5ch.net/test/read.cgi/tech/1686572445/14
15: デフォルトの名無しさん [] 2023/08/09(水) 11:06:02.05 ID:qEKEd4/l 何をつかっても遅いものは遅いw http://mevius.5ch.net/test/read.cgi/tech/1686572445/15
16: デフォルトの名無しさん [sage] 2023/08/09(水) 15:27:00.04 ID:a25ApkGr 実装次第で遅くなりそうなケースだな フレームワークとコピペだけで戦ってきたやつには荷が重いだろう http://mevius.5ch.net/test/read.cgi/tech/1686572445/16
17: デフォルトの名無しさん [sage] 2023/08/09(水) 16:22:02.52 ID:coMLMuQp jsonやmessagepackよりは速いかも知れないな http://mevius.5ch.net/test/read.cgi/tech/1686572445/17
18: デフォルトの名無しさん [] 2023/08/10(木) 00:02:20.56 ID:gjwqjVE1 10GBはファイルの大きさであって、データの件数ではないんだよな http://mevius.5ch.net/test/read.cgi/tech/1686572445/18
19: デフォルトの名無しさん [sage] 2023/08/10(木) 01:18:52.99 ID:qMn8aig+ 10GB のデータをソートするには、 並べ替えた途中経過のデータも持っておく必要があるから、 100GBぐらいのメモリが必要なのでは？ メモリが少ないと、途中経過のデータをハードディスクに保存して、 メモリを空けないといけない。スワップ http://mevius.5ch.net/test/read.cgi/tech/1686572445/19
20: デフォルトの名無しさん [] 2023/08/10(木) 01:20:23.88 ID:lIBN6+0k >>18 レコード数を3とする、ソートせよ http://mevius.5ch.net/test/read.cgi/tech/1686572445/20
21: デフォルトの名無しさん [] 2023/08/10(木) 02:07:49.13 ID:ljCEt4I+ ソートのキーだけでいい http://mevius.5ch.net/test/read.cgi/tech/1686572445/21
22: デフォルトの名無しさん [sage] 2023/08/10(木) 10:55:32.60 ID:AypbHuiV メモリーに乗りそうな大きさに分割してソートして それをマージソートするのが一番早いんじゃね？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/22
23: デフォルトの名無しさん [] 2023/08/10(木) 11:29:41.03 ID:YYBOmFjO >>20 レコード数が1でソートの必要がないかも知れない。 http://mevius.5ch.net/test/read.cgi/tech/1686572445/23
24: デフォルトの名無しさん [] 2023/08/10(木) 11:33:16.87 ID:YYBOmFjO >>1 検索早くないのでは？要するにただのテキストの塊なので grep コマンドとか使って検索できるってだけのことで、その状態ではインデックスなしの全検索だから遅くなると思う。 http://mevius.5ch.net/test/read.cgi/tech/1686572445/24
25: デフォルトの名無しさん [] 2023/08/10(木) 20:54:16.43 ID:TWiH3Zx3 10GBのファイルを書き換えながらソートしているのかな？ http://mevius.5ch.net/test/read.cgi/tech/1686572445/25
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 24 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.011s