統計解析R たぶんpart3くらい (587ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
407: 2021/07/10(土)20:16 ID:MrP/qszp(1) AAS
ルジャンドル変換を一般化した凸共役についてまとまった表がある。
* [凸共役](外部ﾘﾝｸ:en.wikipedia.org
この記事中の表の下二行と次の記事を照らし合わせてみる。
1. [Softmax Cross-Entropy and Negative Sampling](外部ﾘﾝｸ:arxiv.org
2. [Noise Contrastive Estimation](外部ﾘﾝｸ:arxiv.org
| 凸 | 凸共役 | Bregman情報量 |
|:--|:--|:--|
| ln (1 + e^x) | x^* ln x^* + (1 - x^*) ln (1 - x^*) | KL情報量 |
| - ln (1 - e^x) | ln p (x^*) + x^* ln (1 - p (x^*)) | NCE |
p (x) := 1 / (1 + x)
前に書いた四捨五入と対比すると、KLの方がフェルミ分布関数、NCEの方が
ボーズ分布関数に対応する。四捨五入の場合はフェルミ分布関数とボーズ分布関数
の裏にテータ関数がいた。KLとNCEの裏にも何かいるかな？
論文をちゃんと読めば答えもしくはヒントがあるかもしれない。
JIS丸めの話がどうしてこうなった？JIS丸め恐るべし。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.410s*