[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング29 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
839: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)14:59 ID:Fdk3ZWWm0(4/7) AAS
荒らしに反論するのが生産的ｗ、2ch素人かよ
840: (ｱｳｱｳｳｰ Safd-Y1oi [106.180.11.203]) 2020/12/11(金)15:07 ID:XbH1RnBla(1/2) AAS
暇な数学者が冷やかしに来たようだ
841: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)15:58 ID:Fdk3ZWWm0(5/7) AAS
数学者？何処にいるの？
842: (ｱｳｱｳｳｰ Safd-Y1oi [106.180.11.203]) 2020/12/11(金)16:05 ID:XbH1RnBla(2/2) AAS
数学徒にしとく
843: (ﾜｯﾁｮｲ 7901-MC0k [60.69.230.42]) 2020/12/11(金)16:18 ID:Wsx93R0l0(2/2) AAS
荒らしってほどでもないような…
判らないのであれば、判らないと答えればいい。
それか参考になりそうな論文を紹介するとかね。
844: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)16:23 ID:Fdk3ZWWm0(6/7) AAS
ぷ板にあげるよ、遊んであげてｗ
845: (ﾜｯﾁｮｲ a1da-kNbH [114.183.142.212]) 2020/12/11(金)17:08 ID:Fdk3ZWWm0(7/7) AAS
それから馬鹿アスぺはアルゴリズムの本を読んでいてプログラムの才能はないとぷ板の住人にで言われてる
846: (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234]) 2020/12/11(金)20:04 ID:BgeuQOWca(1/4) AAS
>>837
深層学習を従来の理論に当てはめると過学習しまくって使い物にならんはず
だが実際学習できて性能も良い
この差は既存の理論では最適化(勾配降下法)のダイナミクスが考慮されていないから
最適化までを考慮して統計理論に結びつける研究が近年進んでいる
847: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/11(金)20:20 ID:5sai34i/0(1/2) AAS
最適化関連の過去の研究結果が何一つ活用できない？
数学的にある値、例えば誤差がある範囲に入る確率とか、の上限が示されていたりする事は活用できるだろう
848: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/11(金)20:21 ID:5sai34i/0(2/2) AAS
他の機械学習に勾配降下と同等の操作をしていないと言うのは何故そう思う？
849: (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234]) 2020/12/11(金)20:32 ID:BgeuQOWca(2/4) AAS
していないなんて言ってないよ。考慮されていないと言っただけ
従来はそれで多いな問題はなかったが、深層学習ではパラメーター空間が広大になり最適化法それ自体の制約としての側面が目立つようになった
850(2): (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234]) 2020/12/11(金)20:36 ID:BgeuQOWca(3/4) AAS
外部ﾘﾝｸ[pdf]:ibis.t.u-tokyo.ac.jp
最近の深層学習理論が纏められている
読むと良い
851: (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234]) 2020/12/11(金)20:40 ID:BgeuQOWca(4/4) AAS
外部ﾘﾝｸ[pdf]:ibis.t.u-tokyo.ac.jp
852: (ﾌﾞｰｲﾓ MM3d-SCev [202.214.231.57]) 2020/12/11(金)20:46 ID:OnRhFRT3M(1) AAS
＞ お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾
あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な ことはよーくわかったよ。 ホントなにもできない朝鮮ゴキブリBot君！
クソチョンｗ
Pythonさえろくにできないバカチョンのくせに
できるとほざくクソチョンw
日本で強姦と窃盗を繰り返す
犯罪者在日のクソチョンw
853: (ｽｯﾌﾟ Sd33-EgOZ [49.97.106.249]) 2020/12/12(土)10:33 ID:4+CF+8cud(1) AAS
>>850
とてもためになりました。ありがとう。
854: (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/12(土)13:35 ID:9H+yvdp50(1/3) AAS
偉い人(ﾟ∀ﾟ 三 ﾟ∀ﾟ)来てた
この資料いい
855: (ﾜｯﾁｮｲ 0b10-LBAI [153.131.102.129]) 2020/12/12(土)13:53 ID:D9gFLJkJ0(1/3) AAS
850, 851のpdfを読むと
層の横幅Mが広い（素子数が多い）と大域的最適解を得られるっぽいけど
どのくらいの素子数なのか実現可能な数なのかはよくわからなかったな
その素子数を計算で求めることができるのかも
P20に初期化は1/Mって書いてあるけど、横幅Mを計算するλminが何か書いてないような
wの初期化するN(0,I)のIも何か判らない
NTKで調べたら出てくるのか？
逆温度βもどんな値になるのか、変化するのかも判らないな
非凸性→深層学習
その他→他の機械学習（ランダムフォレストとか）
が適しているって感じ？
856(1): (ﾜｯﾁｮｲ 13ad-MyGI [125.13.183.98]) 2020/12/12(土)13:53 ID:qFkF8Df00(1/2) AAS
勾配降下法の意味は理解できましたが、使う意味がよく分からないです。
初めから勾配ベクトルが零ベクトルになるように偏微分の連立方程式解いて
その解を損失関数に代入したものの中から最小のものを選べば済むんじゃないですか？
そうすれば局所最適解に陥ることも避けられますし
857: (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/12(土)14:05 ID:9H+yvdp50(2/3) AAS
わかんない😭💦💦
858: (ｵｯﾍﾟｹ Sra5-6xLJ [126.194.64.89]) 2020/12/12(土)14:07 ID:lSvR9P/Gr(1) AAS
>>856
数千万次元の非線形連立方程式が解けるのならね
859: (ﾌﾞｰｲﾓ MMed-Y1oi [210.138.178.145]) 2020/12/12(土)14:23 ID:FBvDYARoM(1) AAS
高校生なのかな。。
860: (ﾜｯﾁｮｲ 51ad-8thv [42.148.220.186]) 2020/12/12(土)15:03 ID:uoFruwVO0(1) AAS
損失関数の導関数が4次方程式までなら頑張れば解析的に解ける希ガスとか言ってるテスト
861(1): (ﾜｯﾁｮｲ 13ad-MyGI [125.13.183.98]) 2020/12/12(土)15:52 ID:qFkF8Df00(2/2) AAS
次元（変数の数？）が膨大な上に、偏微分で得られた導関数が5次以上になると
代数的に解くことができなくなるからってことなんですね
勉強になりました、ありがとうございます
862: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/12(土)16:15 ID:cW0yBRdh0(1) AAS
意味がねーｗ
863: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/12(土)16:29 ID:Qgp/l0qJ0(1) AAS
>>861
計算量の問題もあるが、それだけじゃないんだぜ
学習データだけで最適解を求めてしまうと過学習に陥りやすくなる
いろいろ制約つけて、学習を途中で止めた方が汎化性能が高くなる
アーリーストップとかで調べてみるといいよ
864(1): (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/12(土)17:27 ID:9H+yvdp50(3/3) AAS
解析的に求められないってことを知った上での発言かと思ってた
865(1): (ｱｳｱｳｳｰ Safd-orE1 [106.154.128.125]) 2020/12/12(土)19:10 ID:cvY7SZ8Va(1) AAS
極端な話n次元ならn次方程式を用意すれば
サンプルを完全にトレースできる
でもそれだと過学習
一つ別のデータに出会ったとたん破綻する
866: (ﾜｯﾁｮｲ 0b10-/9i7 [153.131.102.129]) 2020/12/12(土)19:25 ID:D9gFLJkJ0(2/3) AAS
非線形だから簡単じゃないんだろう
わざわざより高次元空間に写して線形判別しないと上手くいかない
867(1): (ﾜｯﾁｮｲ 0b10-/9i7 [153.131.102.129]) 2020/12/12(土)19:30 ID:D9gFLJkJ0(3/3) AAS
>>865
それは違う気がするな
重みやパラメータをデータから決めただけで
モデルの出力が学習に使用したデータから少しずれたら判別でしなくなるのとは違う
例えば2値判別する時に2点のデータからその中間で判別する境界線を学習したら
データの2点から少しズレても正しく判別できる
868: (ﾜｯﾁｮｲ e901-qdUP [126.25.239.8]) 2020/12/13(日)15:04 ID:QUI91bME0(1) AAS
>>864
多分「解析的に求められない」の意味もわかってないと思われる。
上下前次1-新書関写板覧索設栞歴
あと 134 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.016s