CSVファイルのスレ (296ﾚｽ)
上下前次1-新
1(2): 名無しさん＠お腹いっぱい。 03/07/02 17:58 ID:??? AAS
おそらく一番簡単なデータベースと思われるCSVファイルについていろいろ語りましょう。
277: 2020/05/14(木)13:55 ID:??? AAS
SUMとかAVERAGEとかの基本的な関数だけでも実装してくれたらなぁ。。
278(1): 2020/07/04(土)23:14 ID:pcZg9qmx(1) AAS
「Cassava Editor」https://www.asukaze.net/soft/cassava/ v2.2.0 (2020/07/04)
64 bit 版を追加。
マクロファイルの文字コードを Shift-JIS から UTF-8 に変更。
ただし、UTF-8 として読み込めない場合は Shift-JIS として解釈される。
これぞ最強・最速・最高性能
279: 2020/07/09(木)10:48 ID:IGkzCBkT(1) AAS
>>278
あざーす！
280: 2020/12/23(水)01:22 ID:??? AAS
CSVはRFCに従うよりエンマークでエスケープした方がLinuxで使いやすい
RFCとは別にPOSIXのCSVとしてエンマークエスケープのCSVが普及して欲しいと思う今日この頃
281: 2021/10/08(金)19:00 ID:??? AAS
ASCIIセパレータのことも思い出してあげてください
282: 2022/07/17(日)23:11 ID:/HVWy/+u(1) AAS
制御文字は人間に優しくないのがつらいんよねー
システマチックに使うだけなら良いかも
283: 2022/09/03(土)22:15 ID:euVNIg62(1) AAS
Twitterで100GBのCSVを10GBのメモリのPCでソートするにはどうすればよいかって話題になってた
どうやればよいのだろうね
284: 2022/09/05(月)13:23 ID:??? AAS
死ねばいいんじゃないんですかね
そういうシステムを作っちゃうやつは必ず同じ失敗を繰り返す
285: 2022/09/05(月)13:49 ID:Tc12+IoI(1) AAS
システムの良し悪しじゃなくてDBに入れるとかそういう具体的なやり方の話をしたかった
286: 2022/09/05(月)22:33 ID:??? AAS
CSVは基本可変長レコードだから、ファイルへのランダムアクセスでデータが取り出せない
それだけでソート行うのに不適ってわからない時点でもうダメ
データの入れ替えもとんでもなく困難
ファイルを固定長にするという発想があれば
ソートも入れ替えも比較的容易に出来るんですがねぇ…
あとはメモリ使用量の少ないソートアルゴリズムを選べばいい
287: 2022/09/08(木)13:59 ID:ZUZFeHFR(1/2) AAS
だめだこりゃ
288: 2022/09/08(木)14:00 ID:ZUZFeHFR(2/2) AAS
イキりマンがいるとダメだ
289: 2022/09/08(木)23:42 ID:??? AAS
まさかcsvのソートができないなんて上から目線で言うやつがいるとは思わんかった。
290: 2022/09/09(金)10:39 ID:??? AAS
ではイキリマンとは違う事を
正解を示すことで証明していただきたい
291: 2022/09/09(金)21:39 ID:??? AAS
ふふふそうはいかない
お前に利は与えぬ
292: 2022/09/09(金)23:06 ID:ybJikvqo(1) AAS
ふふふ
293: 2022/09/11(日)01:48 ID:Mo970C1D(1/2) AAS
ソートするだけならマージソートでやれば良い
マージソートはレコードをシーケンシャルに読み書きしていくだけで良い
CSVが100GBで、1レコードが1KBだと仮定するとレコード数は1億
log2(1億) = 26.5
27回はスプリットとマージを繰り返さないといけない
100GB * 27 * 2(読みと書き) = 5400GB
ストレージの読み書き速度が500MB/sだとして3時間
性能要件的に3時間が是か非か
SQLiteやPostgreSQLにデータを入れてSQLでソートするにしても
DBではデータがノーマライズされるうえにインデックスも構築されるから
省10
294: 2022/09/11(日)02:08 ID:Mo970C1D(2/2) AAS
10GBに収まるギリギリまでメモリ上でソートすればいいので27回も繰り返す必要はないのか
ストレージ上のデータがメモリ上では10倍になるとしてメモリ上でソートできるのは100万レコードくらいかな
100万レコードが100個できるとして
log2(100) = 6.6
100GB * 7 * 2(読みと書き) = 1400GB
ストレージの読み書き速度が500MB/sだとして47分
結構速いな
295: 2023/05/24(水)21:48 ID:??? AAS
Excel365で開くと、最初は問題なく開けるのに、
しばらく使ってから開くと文字化けするのはなに?
文字化けするファイルもしないファイルも文字コードは同じ
PC再起動すれば一時的に直るけど、またしばらく使ってると再発する
296: 2023/06/03(土)19:09 ID:WlpZXlkv(1) AAS
BOMが消されてるんじゃない？
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.637s*