[過去ﾛｸﾞ] 人工知能ディープラーニング機械学習の数学 ★2 (973ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
961: 2020/08/11(火)16:08 ID:MrLH3nvT(1) AAS
通常の勾配法は確かに損失関数を減少させる
だがそれが最も下げる方向かというと、それはパラメーター空間がユークリッド空間で正規直交座標の時だけ。
だがパラメーター空間は一般の場合、ユークリッド空間ではない
では一般のパラメーター空間ではどうなるのか、その答えは自然勾配法によって得られ、これこそが真の最急降下法となる
下の論文には自然勾配を使うとディープラーニングの収束が１０００倍早くなった例が記載されている
ではパラメーター空間とは何か？
まず、パラメーターを座標系とするリーマン空間の接空間に内積を導入する。この時"上手に"公理を満たす内積を定義すればリーマン計量はフィッシャー情報行列に一致し、
"非常に近い"２点間の距離がリーマン計量によって求められるようになる
これがパラメーター空間の幾何学の始まり
もっと言えば確率分布空間の幾何学とも言え、そこには双対平坦な微分幾何学という数学の大海原が広がる
統計的推論とは何か、これを知るためにははじめに多様体をよく知る必要がある
他にもフィッシャー情報行列を知るためには期待値計算が必要となり、その際、よく知られた分布での期待値計算の導出を参考にしたければ奇関数や偶関数の性質を知っておいた方が良い場合もある
大変な数学の知識が試される場面。
この分野に足を踏み入れれば自分の人生を破壊するかもしれない、従って利他性が試される
必要なのは頭の良さではない。難しい分野だから間違って解釈することもあるだろうが、十分な利他性があれば一定のレベルにまでは成し遂げられるはずだ
[参考]
外部ﾘﾝｸ:www.jstage.jst.go.jp
外部ﾘﾝｸ[pdf]:repository.kulib.kyoto-u.ac.jp
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.036s