[過去ﾛｸﾞ] くだすれPython(超初心者用) その48【まず1嫁】 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
785(6): デフォルトの名無しさん [] 2020/07/12(日) 18:23:41.86 ID:9lwq43sw(1/5) AAS
大量のデータ3000万行ぐらいのcsvファイルを二つ読み込み
1列目をキーとし、共通する値を片方のcsvに加えようとしています。
それぞれ、
open("test.csv","w")で読みこみ、
それぞれをdictに格納し、dict1でルｰプ。
キーを
if key in dict2
で探しています。
これを高速化するとしたらどのような方法がありますでしょうか。
787: 785 [] 2020/07/12(日) 18:44:34.96 ID:9lwq43sw(2/5) AAS
>>786
joinで出力するイメージでしょうか。
そちらの方が早いって事ですよね
ありがとうございます。
788: デフォルトの名無しさん [sage] 2020/07/12(日) 19:26:48.34 ID:ZqI/7j2D(1) AAS
>>785
3000万でcsvの時点でもう色々駄目だろ、DB使えよ
791(2): デフォルトの名無しさん [sage] 2020/07/12(日) 19:36:50.58 ID:zNwkT4YV(3/4) AAS
>>785
メモリがやばいだろうから
pandas印のストローで少しずつちゅるちゅるしていってね！
795(1): 785 [] 2020/07/12(日) 20:58:08.19 ID:9lwq43sw(4/5) AAS
すみませんいろいろ間違えました
>>794
は>>791です
798(1): 785 [] 2020/07/12(日) 23:35:38.80 ID:9lwq43sw(5/5) AAS
pandas でグループ毎にカウントと
そのグループ毎に列指定でsumをとったものを同じpandas.dataframeで
集計することはできますでしょうか
>>797ありがとうございます。
800: 785 [] 2020/07/13(月) 00:08:26.04 ID:uDtGxDQx(1/2) AAS
>>799
ありがとうござます。
group した値とは別の値をsumするにはどうすればよいでしょうか
df3.groupby(['a','b']).agg({'count','sum'})
でsumで取得したいのはc列です。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.040s