[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング8©2ch.net (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
178(1): 2016/06/12(日)20:55 ID:vVZR4K/C(2/2) AAS
つながり見っけ
裏道どころかタイムズスクエアの真ん前にいたんですね
前のスレッドで「現在のDNNにおける未解決問題」というスライドを挙げたんですが
スピングラスの下りでの元ネタの一つです
Open Problem: The landscape of the loss surfaces of multilayer networks
外部ﾘﾝｸ[html]:www.jmlr.org
> Earlier theoretical analysis, conveniently reviewed in Dauphin et al. (2014), suggest the
> existence of a certain structure of critical points of random Gaussian error
> functions on high dimensional continuous spaces.
> ...
> Nevertheless they provide no theoretical justification for the existence of this connection.
読んでないので憶測ですが、Dauphinさん達の観察したモース指数と標高の関係を
スピングラスを使って導けるよという趣旨のようです
そのDauphinさん達の仕事です
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
外部ﾘﾝｸ[2572]:arxiv.org
これも読んでないのですが、これを紹介しているブログを読むと
>>65 の路線をそのまま発展させたか整理したもののようです
No more local minima?
外部ﾘﾝｸ:blog.terminal.com
>>65 は悪乗りで書いたんですが、色々とつながり勉強になりました
灯台下暗し
一旦突破口を見つけるとイナゴのようによってたかって片付けるNN48恐るべし
735(1): 2016/07/14(木)23:25 ID:ZIy7m/Tm(1) AAS
>>387 に関係するかもしれないネタ
ニューラルネットで手計算をしようとすると次の方法が思いつく
1. ニューラルネットを線形化する
2. 有効理論としてニューラルネットを導出する基礎理論を調べる
>>178 は多重線形化してスピングラスへ持っていっているので線形化の方法
これも線形化の方法に使えるかも
Critical Behavior from Deep Dynamics: A Hidden Dimension in Natural Language
外部ﾘﾝｸ:news.ycombinator.com
木の根から葉へマルコフ過程を走らせて葉だけを見ると、あたかも
葉の間の「相関関数」がべき乗則になっているように見えるよと言っている
ycombinatorのコメントにあるように筆者達は物理学者なので
物理で使われる「相関関数」に着目している
Correlation function (statistical mechanics)
外部ﾘﾝｸ:en.wikipedia.org
使い古されたトリックかもしれないけどハッと気付かされた
余談だけど論文の謝辞にビックリ
2013年のヘンテコ定理大賞を思い出した
Who Ordered That? | The n-Category Cafe
外部ﾘﾝｸ[html]:golem.ph.utexas.edu
> It follows from the theory of noncommutative algebraic series developed
> by N. Chomsky and M.-P. Schutzenberger in 1963.
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.052s