10GBのCSVファイルのソートが遅いのはなぜですか? (49レス)
10GBのCSVファイルのソートが遅いのはなぜですか? http://mevius.5ch.net/test/read.cgi/tech/1686572445/
上
下
前
次
1-
新
通常表示
512バイト分割
レス栞
42: デフォルトの名無しさん [] 2023/10/05(木) 11:43:25.54 ID:AvBTKCCq 速度を優先するなら固定長CSVの採用をオススメする 各行へのランダムシークが出来るし並び替えに必要な行の入れ替えも可能になる 最近のutf-8などを使いたい場合は文字数での管理が難しくなるがあくまでもストレージ上でのサイズを基準にして クラスタサイズも考慮し列サイズを決めていこう 検索性能を上げるには外部インデックスを作るしかないだろう ファイルサイズは100倍ぐらいに増えるかもしれないが単純なファイルキャッシュだけで下手なDBでは敵わない速度が出せるだろう http://mevius.5ch.net/test/read.cgi/tech/1686572445/42
メモ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 7 レスあります
スレ情報
赤レス抽出
画像レス抽出
歴の未読スレ
AAサムネイル
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.283s*