[過去ログ]
【統計分析】機械学習・データマイニング8©2ch.net (1002レス)
【統計分析】機械学習・データマイニング8©2ch.net http://echo.5ch.net/test/read.cgi/tech/1464586095/
上
下
前次
1-
新
通常表示
512バイト分割
レス栞
抽出解除
レス栞
このスレッドは過去ログ倉庫に格納されています。
次スレ検索
歴削→次スレ
栞削→次スレ
過去ログメニュー
リロード規制
です。10分ほどで解除するので、
他のブラウザ
へ避難してください。
178: デフォルトの名無しさん [] 2016/06/12(日) 20:55:47.50 ID:vVZR4K/C つながり見っけ 裏道どころかタイムズスクエアの真ん前にいたんですね 前のスレッドで「現在のDNNにおける未解決問題」というスライドを挙げたんですが スピングラスの下りでの元ネタの一つです Open Problem: The landscape of the loss surfaces of multilayer networks http://www.jmlr.org/proceedings/papers/v40/Choromanska15.html > Earlier theoretical analysis, conveniently reviewed in Dauphin et al. (2014), suggest the > existence of a certain structure of critical points of random Gaussian error > functions on high dimensional continuous spaces. > ... > Nevertheless they provide no theoretical justification for the existence of this connection. 読んでないので憶測ですが、Dauphinさん達の観察したモース指数と標高の関係を スピングラスを使って導けるよという趣旨のようです そのDauphinさん達の仕事です Identifying and attacking the saddle point problem in high-dimensional non-convex optimization http://arxiv.org/abs/1406.2572 これも読んでないのですが、これを紹介しているブログを読むと >>65 の路線をそのまま発展させたか整理したもののようです No more local minima? http://blog.terminal.com/no-more-local-minima/ >>65 は悪乗りで書いたんですが、色々とつながり勉強になりました 灯台下暗し 一旦突破口を見つけるとイナゴのようによってたかって片付けるNN48恐るべし http://echo.5ch.net/test/read.cgi/tech/1464586095/178
735: デフォルトの名無しさん [] 2016/07/14(木) 23:25:46.34 ID:ZIy7m/Tm >>387 に関係するかもしれないネタ ニューラルネットで手計算をしようとすると次の方法が思いつく 1. ニューラルネットを線形化する 2. 有効理論としてニューラルネットを導出する基礎理論を調べる >>178 は多重線形化してスピングラスへ持っていっているので線形化の方法 これも線形化の方法に使えるかも Critical Behavior from Deep Dynamics: A Hidden Dimension in Natural Language https://news.ycombinator.com/item?id=12085044 木の根から葉へマルコフ過程を走らせて葉だけを見ると、あたかも 葉の間の「相関関数」がべき乗則になっているように見えるよと言っている ycombinatorのコメントにあるように筆者達は物理学者なので 物理で使われる「相関関数」に着目している Correlation function (statistical mechanics) https://en.wikipedia.org/wiki/Correlation_function_(statistical_mechanics) 使い古されたトリックかもしれないけどハッと気付かされた 余談だけど論文の謝辞にビックリ 2013年のヘンテコ定理大賞を思い出した Who Ordered That? | The n-Category Cafe https://golem.ph.utexas.edu/category/2013/10/who_ordered_that.html > It follows from the theory of noncommutative algebraic series developed > by N. Chomsky and M.-P. Schutzenberger in 1963. http://echo.5ch.net/test/read.cgi/tech/1464586095/735
メモ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
スレ情報
赤レス抽出
画像レス抽出
歴の未読スレ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.059s