[過去ﾛｸﾞ]
【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
【統計分析】機械学習・データマイニング31 http://mevius.5ch.net/test/read.cgi/tech/1632587566/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
必死ﾁｪｯｶｰ(本家)
(べ)
自ID
ﾚｽ栞
あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
539: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 02:35:50.86 ID:n/T4USjf0 確率的勾配降下法と最急降下法が混じってないか？ 最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新 確率的勾配降下法：１サンプル毎に勾配を求めてウエイトを更新 ミニバッチ勾配降下法：ミニバッチ毎に勾配を求めてウエイトを更新 んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね http://mevius.5ch.net/test/read.cgi/tech/1632587566/539
543: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 09:43:34.76 ID:n/T4USjf0 確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ 普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが 性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが 偏りやすくなる場合がある そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための 手段が用意されてたりする バッチの処理順序はランダムでok http://mevius.5ch.net/test/read.cgi/tech/1632587566/543
548: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 20:06:44.40 ID:n/T4USjf0 それはなんかズレてるような 学習データでしか学習しない（勾配を求めて降下させることもない）んだから母集団とか持ち出さなくても 確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す チャンスがあるかどうかなのでは そういう意味ではミニバッチ法も確率的だというのはあってると思う http://mevius.5ch.net/test/read.cgi/tech/1632587566/548
550: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 20:32:09.62 ID:n/T4USjf0 サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い そういう意味で確率的、なんだと思う これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして （でもちょっとだけ正しい方向に進みやすくして）少しずつ動きを小さくしていくと 最も安定したところに収束する 分子の動き＝温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね http://mevius.5ch.net/test/read.cgi/tech/1632587566/550
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.032s