[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング29 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
819(1): (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)21:12 ID:4I880zB/0(2/3) AAS
>>816
> トータルの誤差E(w)は増えてしまうということになる恐れはないのでしょうか？
普通にあるよ
増えたり減ったりしながら徐々に正解に近づいていくイメージ
振動するおかげで極小解から脱出できるチャンスが増える
820(2): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/10(木)21:15 ID:7nBpTtaz0(7/7) AAS
>>819
確率的勾配降下法によって，極小値を与えるwにかならず近づいていくということは証明できるのでしょうか？
勾配降下法では，学習係数が十分小さければ，単調に誤差が減少していき，最終的に，極小値を与えるwに近づいていくことは自明ですが．
821: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:27 ID:3MNDS+Jy0(1/5) AAS
>>814
最終的な性能は正解率とか指標があるでしょう
822: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:30 ID:3MNDS+Jy0(2/5) AAS
>>811
教師信号、正解と出力の差、距離の計算方法を変えたら評価関数、誤差関数は違うものになるだろう
ただそれで学習時間や性能にどんな影響があるかは自分は判らない
823: (ﾜｯﾁｮｲ 5902-LBAI [118.154.96.7]) 2020/12/10(木)21:40 ID:4I880zB/0(3/3) AAS
>>820
確率的勾配降下でも、学習率εが十分に小さければ近づく、とされてるね
証明もされてるんだとは思うけど、どこ見ればいいとかは俺はわからない
ところで、欲しいのは極小解じゃなくて大域的最適解だよね？
極小値でよければ最急降下法が一番収束が速い
1サンプルずつ学習する確率的…は極小値にはまらない可能性は高いけど重すぎる
バランスを取ったのがバッチ学習
824: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:40 ID:3MNDS+Jy0(3/5) AAS
>>816
自分で実験してみるのが１つの方法
初期化後に全データで評価値を計算して
簡単なNNを作ってデータ１つで重みを更新してから
全データで評価値を再計算する
多分増える事もあると思うけどデータを変えて重みを更新していく事で徐々に出力と正解の誤差が小さくなっていくと思う
同じ出力をする入力は同じニューロンが発火して
別の出力をする入力はそれと違うニューロンが発火するよつな感じに学習が進んでいくのかな
825: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)21:45 ID:3MNDS+Jy0(4/5) AAS
>>820
勾配降下法は深層学習に限らず研究されているんじゃないかと思う
そっち方面で局所的最適値を得られる条件とか判ってるかもしれない
凸関数とかそんなのが条件になっていたりするかも
826: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/10(木)22:51 ID:3MNDS+Jy0(5/5) AAS
思い出した
鞍点とかあるとそこで止まるとかあったような
827: (ﾜｯﾁｮｲ e901-qdUP [126.25.239.8]) 2020/12/10(木)23:37 ID:feZOjJB+0(1) AAS
正しいけれど全く意味のない話というやつだな。
828: (ｻｻｸｯﾃﾛ Spa5-t6eo [126.33.131.200]) 2020/12/11(金)09:59 ID:YXM/kAxOp(1) AAS
意味があるかは解釈によっても変わる
道具が同じでも上手く使える人とそうではない人がいる
既存の技術を上手く使って問題解決できた人もいるからな
829: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)10:40 ID:Fdk3ZWWm0(1/7) AAS
馬鹿アスペの相手してる5902-LBAIだろ
830(1): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/11(金)11:31 ID:SUhg1yPU0(1/2) AAS
みなさん，ありがとうございました．
いろいろな日本語のディープラーニングの本を見てみましたが，確率的勾配降下法がなぜうまくいのかについての説明は全くありませんでした．
831(2): (ﾜｯﾁｮｲ 1355-orE1 [59.147.205.222]) 2020/12/11(金)11:34 ID:SUhg1yPU0(2/2) AAS
まるで，うまくいくのが自明であるかのような扱いです．
確率的勾配降下法に限らず，この分野は常にこのような感じですよね．
832: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)12:05 ID:Fdk3ZWWm0(2/7) AAS
1355-orE1は馬鹿アスペなのでスルーよろしく
833: (ﾜｯﾁｮｲ 5952-74Z4 [118.243.75.50]) 2020/12/11(金)12:12 ID:vXWM25Of0(1) AAS
わかんないことがあれば自分で調べればいいのにね(笑)
834: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)12:31 ID:Fdk3ZWWm0(3/7) AAS
馬鹿アスペは岡山県なんだ
835: (ｵｯﾍﾟｹ Sra5-6xLJ [126.208.198.69]) 2020/12/11(金)12:57 ID:P9V8rC1yr(1) AAS
>>830
この辺の理論が解明され始めたのは去年頃からだから、まだ本にはなってないよ
知りたければ論文読むかslideshareを探すといい
836: (ﾜｯﾁｮｲ 7901-MC0k [60.69.230.42]) 2020/12/11(金)13:21 ID:Wsx93R0l0(1/2) AAS
馬鹿と決めつけるより具体的に反論した方が生産的な気もする
837(1): (ｱｳｱｳｳｰ Safd-t6eo [106.154.8.245]) 2020/12/11(金)14:21 ID:keBMi+cGa(1) AAS
深層学習じゃない機械学習では誤差が小さくなる事とか条件とか証明されていると思うけどな
深層学習もそれからの類推か包含しているかじゃないか？
838: (ｱｳｱｳｳｰ Safd-orE1 [106.154.128.125]) 2020/12/11(金)14:24 ID:76SqqmH2a(1) AAS
>>831
発表されていないけど考えられる限りの
それ以外の方法を
多数の人が試していて
性能が出ないので発表されていないだけ
技術の分野ではよくあるんだよな
それを知らないと時間を大きく損する
839: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)14:59 ID:Fdk3ZWWm0(4/7) AAS
荒らしに反論するのが生産的ｗ、2ch素人かよ
840: (ｱｳｱｳｳｰ Safd-Y1oi [106.180.11.203]) 2020/12/11(金)15:07 ID:XbH1RnBla(1/2) AAS
暇な数学者が冷やかしに来たようだ
841: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)15:58 ID:Fdk3ZWWm0(5/7) AAS
数学者？何処にいるの？
842: (ｱｳｱｳｳｰ Safd-Y1oi [106.180.11.203]) 2020/12/11(金)16:05 ID:XbH1RnBla(2/2) AAS
数学徒にしとく
843: (ﾜｯﾁｮｲ 7901-MC0k [60.69.230.42]) 2020/12/11(金)16:18 ID:Wsx93R0l0(2/2) AAS
荒らしってほどでもないような…
判らないのであれば、判らないと答えればいい。
それか参考になりそうな論文を紹介するとかね。
844: (ﾜｯﾁｮｲ a1da-9ESD [114.183.142.212]) 2020/12/11(金)16:23 ID:Fdk3ZWWm0(6/7) AAS
ぷ板にあげるよ、遊んであげてｗ
845: (ﾜｯﾁｮｲ a1da-kNbH [114.183.142.212]) 2020/12/11(金)17:08 ID:Fdk3ZWWm0(7/7) AAS
それから馬鹿アスぺはアルゴリズムの本を読んでいてプログラムの才能はないとぷ板の住人にで言われてる
846: (ｱｳｱｳｴｰ Sae3-6xLJ [111.239.185.234]) 2020/12/11(金)20:04 ID:BgeuQOWca(1/4) AAS
>>837
深層学習を従来の理論に当てはめると過学習しまくって使い物にならんはず
だが実際学習できて性能も良い
この差は既存の理論では最適化(勾配降下法)のダイナミクスが考慮されていないから
最適化までを考慮して統計理論に結びつける研究が近年進んでいる
847: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/11(金)20:20 ID:5sai34i/0(1/2) AAS
最適化関連の過去の研究結果が何一つ活用できない？
数学的にある値、例えば誤差がある範囲に入る確率とか、の上限が示されていたりする事は活用できるだろう
848: (ﾜｯﾁｮｲ 0b10-t6eo [153.131.102.129]) 2020/12/11(金)20:21 ID:5sai34i/0(2/2) AAS
他の機械学習に勾配降下と同等の操作をしていないと言うのは何故そう思う？
上下前次1-新書関写板覧索設栞歴
あと 154 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.013s