[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング26 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
221(6): デフォルトの名無しさん (ｱｳｱｳｴｰ Sa13-NJTS [111.239.57.16]) [sage] 2019/10/13(日) 18:39:55.88 ID:48i2xCpca(2/3) AAS
二層あれば大抵の関数は模倣できるのに
何でもっと多層が必要なの?
224(1): デフォルトの名無しさん (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) [] 2019/10/13(日) 19:30:49.94 ID:llG9wcVha(2/5) AAS
>>221
層を増やす方が効率が高い
ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
230(1): デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/13(日) 21:28:26.53 ID:kaSZg9r20(8/11) AAS
>>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ
直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから
と思うんだが、本当かどうかは分からない
235(2): デフォルトの名無しさん (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) [] 2019/10/13(日) 22:18:18.69 ID:/3kPh57iM(2/2) AAS
>>221
〉二層あれば大抵の関数は模倣できる
その『大抵』とは、どの程度なんですか？
それが示されてないのですから
まったく意味をなさないですよね？
>>230
その意味をなさない書き込みに、
本質的とかって、
レベル低すぎですね。
250: デフォルトの名無しさん (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) [sage] 2019/10/14(月) 14:40:16.73 ID:VuPQ6UMJ0(1) AAS
>>240
並列に並べるために(x1, x2)からx3を作るための層が最低1つ必要なんだ
0か1かのような2値分類は、つまるところ出力層と全く同じ出力をする新しい次元を作って、その次元に直行する超平面で分類する作業なので
言い方は高次元や非線形で良いと思うけど、次元についてはニューロンの数が、非線形については活性化関数が深く関係している
もう少し詳しく説明しよう
より一般的な関数があったとして、入力が(x1, x2)のとき、最後の出力層への入力としては
(f1(x1, x2), f2(x1, x2), f3(x1, x2), …, fN(x1, x2)) … (1)
となっている
Nは最後の隠れ層のニューロンの数なので、次元と読んでいるのはニューロンの数だということが分かる
(1)を如何にして作るのかが重要になり、層を深くして(1)を作らなくても、ニューロン増やせばいいんじゃね?となる
隠れ層1層と出力層1層の2層あれば大抵の関数は模倣できると指摘している>>221はかなり鋭くて実にその通り
それでもなんで層を深くするのかというと>>224の効率が良いというのが一般な回答なんだが、Deep Learningを回している人なら実感があると思うけど、第一層のニューロンの数がある一定数ないと学習がうまくいかないことが往往にしてある
単に層を深くすればよいというのは明らかに直感と異なり、そうすると「どの層にどれだけのニューロンを配置すると良いか」という問題になり、これに対して自分なりの回答はまだ全然持っていない
280: デフォルトの名無しさん (ｵｯﾍﾟｹ Sr61-uMWA [126.255.149.234]) [sage] 2019/10/15(火) 12:32:17.34 ID:2+ahF6drr(1) AAS
>>221
層が多いほうが表現力が高い
教師データ数に対して異常に多いパラメータは、なんで性能が伸びるかよく分からない。
パラメータの中にはあたりくじがあるのかもという、宝くじ仮設なるものがあるけれどどうなのでしょう？
283(1): デフォルトの名無しさん (ｵｯﾍﾟｹ Sr61-B2ag [126.255.17.59]) [] 2019/10/15(火) 16:36:14.39 ID:OfiTiE/Hr(1) AAS
>>221
深くする程損失関数が凸関数に近くなり最適解に辿り着きやすくなるかも知れないことが最近の理論研究で判明してきている
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.043s