[過去ﾛｸﾞ] 人工知能ディープラーニング機械学習の数学 ★2 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
961: 2020/08/11(火)16:08 ID:MrLH3nvT(1) AAS
通常の勾配法は確かに損失関数を減少させる
だがそれが最も下げる方向かというと、それはパラメーター空間がユークリッド空間で正規直交座標の時だけ。
だがパラメーター空間は一般の場合、ユークリッド空間ではない
では一般のパラメーター空間ではどうなるのか、その答えは自然勾配法によって得られ、これこそが真の最急降下法となる
下の論文には自然勾配を使うとディープラーニングの収束が１０００倍早くなった例が記載されている
ではパラメーター空間とは何か？
まず、パラメーターを座標系とするリーマン空間の接空間に内積を導入する。この時"上手に"公理を満たす内積を定義すればリーマン計量はフィッシャー情報行列に一致し、
省11
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.053s