[過去ﾛｸﾞ] くだすれPython(超初心者用) その46【Ruby禁止】 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
180(6): デフォルトの名無しさん [sage] 2020/01/12(日) 23:01:37.62 ID:aXgbqZV+(1/2) AAS
こんにちは質問させてください。
20190112, A, 91
20190112, B, 82
20190111, A, 93
…
という感じで[日付,名前, 得点]の3カラムのデータがあり、各行の日付段階での、
その人の過去30日平均得点（人別の得点の移動平均）をできるだけ高速に計算したいのですが、
どのようにすればよいでしょうか？
なお、今はsqliteで、以下のような原始的なプログラムを書いてみましたが、遅くて困っております。
# date, nameの組み合わせを抜き出し
list = cur.execute('select date, name from table').fetchall
# listすべてにfor文で処理
for i in range(len(list)):
date = list[i][0]
name = list[i][1]
# dateから30日前の日付を計算
date30before （計算略）
# nameが一致しているそのデータから過去30日分のスコアを抜き出し
scoreList = cur.execute('select score from table where name == ? and ? < date < ?',(date30before, date)).fetchall
# 抜き出した30日分のスコアを平均
scoreListAve（計算略）
# 元のテーブルのdate, nameが一致する行に書き込み
cur.execute('update table set score30Ave = ? where date = ? and name == ?'),(scoreListAve, date, name))
con.commit() # for後、コミット
182: 180 [sage] 2020/01/12(日) 23:53:05.86 ID:aXgbqZV+(2/2) AAS
>181
ウインドウ関数を知らないので調べてみます。
ありがとうございます。
184(1): 180 [sage] 2020/01/13(月) 02:43:19.89 ID:wBE7Qmaa(1/4) AAS
>183
助言ありがとうございます。
書き忘れましたがname, dateのIndexはすでに作ってます。
cur.execute('create index dateIndex on table(date)')
Indexでだいぶましになったのですが、それでも現状、
forが100進むのに1秒くらいなので、20万レコードで30分くらいかかります。
187(1): 180 [sage] 2020/01/13(月) 05:49:10.94 ID:wBE7Qmaa(2/4) AAS
>185
大変ありがとうございます。
歯抜け有りなので相関サブクエリの方をまず試してみます。
ここまで見本のコードを書いていただければ自分のレベルでも
なんとか取り入れられそうです。
189(1): デフォルトの名無しさん [sage] 2020/01/13(月) 09:57:49.58 ID:Co2mHaqk(1) AAS
>>180のコードでメモリが足りているならsqlをどうこうする必要はないと思うが。
216(1): 180 [sage] 2020/01/13(月) 19:27:28.23 ID:wBE7Qmaa(3/4) AAS
180ですが、教えてもらった相関サブクエリによるselectのやり方で
20万レコード30分くらいかかってたのが2分くらいまで短縮できました。
助かりました。
select後、sqlに保存は依然としてfor文ですが、それも込みで2分です。
保存部分もまとめて、
update table t1 set (select avg(score) …
というやり方ができないかと思って試しましたが、うまくできませんでした。
たぶん、最初にコメントされた方はそこもわかった上で
「少なくともselect文は」と言われたのでしょう。
ウインドウ関数、コンポジットインデックスも教えてくださりありがとうございます。
また試してみます。
218(1): 180 [sage] 2020/01/13(月) 20:25:11.89 ID:wBE7Qmaa(4/4) AAS
>217
たしかに！
意識できていなかったのですが、ちょっとスレ違いでした。すみません。
みなさんクエリがなんとかとか言って争ってる？ので
５ちゃんねるは教えてくれる人々がいつもなんか争ってるなぁとw
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.043s