[過去ﾛｸﾞ]
くだすれPython(超初心者用) その46【Ruby禁止】 (1002ﾚｽ)
くだすれPython(超初心者用) その46【Ruby禁止】 http://mevius.5ch.net/test/read.cgi/tech/1577948214/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
180: デフォルトの名無しさん [sage] 2020/01/12(日) 23:01:37.62 ID:aXgbqZV+ こんにちは質問させてください。 20190112, A, 91 20190112, B, 82 20190111, A, 93 … という感じで[日付,名前, 得点]の3カラムのデータがあり、各行の日付段階での、 その人の過去30日平均得点（人別の得点の移動平均）をできるだけ高速に計算したいのですが、 どのようにすればよいでしょうか？ なお、今はsqliteで、以下のような原始的なプログラムを書いてみましたが、遅くて困っております。 # date, nameの組み合わせを抜き出し list = cur.execute('select date, name from table').fetchall # listすべてにfor文で処理 for i in range(len(list)): date = list[i][0] name = list[i][1] # dateから30日前の日付を計算 date30before （計算略） # nameが一致しているそのデータから過去30日分のスコアを抜き出し scoreList = cur.execute('select score from table where name == ? and ? < date < ?',(date30before, date)).fetchall # 抜き出した30日分のスコアを平均 scoreListAve（計算略） # 元のテーブルのdate, nameが一致する行に書き込み cur.execute('update table set score30Ave = ? where date = ? and name == ?'),(scoreListAve, date, name)) con.commit() # for後、コミット http://mevius.5ch.net/test/read.cgi/tech/1577948214/180
182: 180 [sage] 2020/01/12(日) 23:53:05.86 ID:aXgbqZV+ >181 ウインドウ関数を知らないので調べてみます。 ありがとうございます。 http://mevius.5ch.net/test/read.cgi/tech/1577948214/182
184: 180 [sage] 2020/01/13(月) 02:43:19.89 ID:wBE7Qmaa >183 助言ありがとうございます。 書き忘れましたがname, dateのIndexはすでに作ってます。 cur.execute('create index dateIndex on table(date)') Indexでだいぶましになったのですが、それでも現状、 forが100進むのに1秒くらいなので、20万レコードで30分くらいかかります。 http://mevius.5ch.net/test/read.cgi/tech/1577948214/184
187: 180 [sage] 2020/01/13(月) 05:49:10.94 ID:wBE7Qmaa >185 大変ありがとうございます。 歯抜け有りなので相関サブクエリの方をまず試してみます。 ここまで見本のコードを書いていただければ自分のレベルでも なんとか取り入れられそうです。 http://mevius.5ch.net/test/read.cgi/tech/1577948214/187
189: デフォルトの名無しさん [sage] 2020/01/13(月) 09:57:49.58 ID:Co2mHaqk >>180のコードでメモリが足りているならsqlをどうこうする必要はないと思うが。 http://mevius.5ch.net/test/read.cgi/tech/1577948214/189
216: 180 [sage] 2020/01/13(月) 19:27:28.23 ID:wBE7Qmaa 180ですが、教えてもらった相関サブクエリによるselectのやり方で 20万レコード30分くらいかかってたのが2分くらいまで短縮できました。 助かりました。 select後、sqlに保存は依然としてfor文ですが、それも込みで2分です。 保存部分もまとめて、 update table t1 set (select avg(score) … というやり方ができないかと思って試しましたが、うまくできませんでした。 たぶん、最初にコメントされた方はそこもわかった上で 「少なくともselect文は」と言われたのでしょう。 ウインドウ関数、コンポジットインデックスも教えてくださりありがとうございます。 また試してみます。 http://mevius.5ch.net/test/read.cgi/tech/1577948214/216
218: 180 [sage] 2020/01/13(月) 20:25:11.89 ID:wBE7Qmaa >217 たしかに！ 意識できていなかったのですが、ちょっとスレ違いでした。すみません。 みなさんクエリがなんとかとか言って争ってる？ので ５ちゃんねるは教えてくれる人々がいつもなんか争ってるなぁとw http://mevius.5ch.net/test/read.cgi/tech/1577948214/218
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.033s