[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング22 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
558(1): (ﾜｯﾁｮｲ f901-A0Bz) 2019/02/10(日)20:05 ID:EWmLbbO60(1) AAS
バッチサイズを大きくすると学習効果が低いというのもよくわからん話だな。
これって人間でいえばドリルを一気にやってから答え合わせするよりもちょこちょこ
答え見て解答してった方が勉強効率が良いってことだよね？
559: (ｻｻｸｯﾃﾛ Spd1-gzwS) 2019/02/10(日)20:39 ID:L/vUvPOUp(2/3) AAS
>>558
バッチサイズの大きさと学習効果については相反する議論が展開されていて、バッチサイズが大きくても学習率を下げれば性能は変わらないとする論文がある
更新分は
(epsilon / batch_size) * (sum of grad)
なのでbatch_sizeを倍にしたら学習率を半分にするといい
勾配分だけがbatch_sizeの影響を受けるので、モデルおよびデータ次第ではどっちにも転ぶことになる
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.035s