[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング26 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
219: (ﾌﾞｰｲﾓ MM59-ToAo [210.138.208.219]) 2019/10/13(日)14:45 ID:TJDkUn5hM(1) AAS
>>208
>>214
ありがとうございます。ほぼCNNのことと思って良さそうなんですね
CNNが凄い！っことを深層学習という言葉に拡大して凄い！って言ってるイメージですね
220(2): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)15:01 ID:kaSZg9r20(7/11) AAS
>> 215
細かいけど、まず層の数え方から
入力層は層に数えないので、ANDとORは1層で、XORは2層で表現できる
次にXORはなぜ2層で表現可能か
単純に、AND(正確にはNAND)とORの出力をANDで受ければXORが作れるから
ググったら以下のような図を見つけた
画像ﾘﾝｸ
>>218の回答はエレガントだけども、少し説明を加えると
(0, 0) → 0
(0, 1) → 1
(1, 0) → 1
(1, 1) → 0
を分ける直線は2次元平面内では書けないけど、3次元に拡張して
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
を分ける平面はa,b,c,dを適当に決めれば作れる(例えばa=d=0, b=c=1としてz=0.5の平面)
a,b,c,dを適当に決めて分離できるってそんなんアリかよ！？って最初は思うかもしれないけど
そんな純粋な気持ちは最初だけで、どうせa, b, c, dは見ないし分離できたら何でもOKになる
221(6): (ｱｳｱｳｴｰ Sa13-NJTS [111.239.57.16]) 2019/10/13(日)18:39 ID:48i2xCpca(2/3) AAS
二層あれば大抵の関数は模倣できるのに
何でもっと多層が必要なの?
222: (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)18:43 ID:Fxu1r5BT0(6/8) AAS
>>217
諦めたらそこで試合終了ですよ
目の前にヒントが転がっていても見えなくなる
223(1): (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)18:44 ID:Fxu1r5BT0(7/8) AAS
>>218
線型結合してる層を増やすとなぜ高次元になるのかを直感的に判るように説明して
224(1): (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)19:30 ID:llG9wcVha(2/5) AAS
>>221
層を増やす方が効率が高い
ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
225(1): (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)19:32 ID:llG9wcVha(3/5) AAS
>>223
一旦中間層のニューロン数だけの次元を持つ空間を経由できるから
226(3): (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/13(日)20:04 ID:Fxu1r5BT0(8/8) AAS
>>225
線型結合して関数を通して
また線型結合して関数を通して
の繰り返しでなぜ高次元になるの？
関数によって非線形になるなら判るけど
227: (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)20:33 ID:llG9wcVha(4/5) AAS
>>226
非線形な活性化関数噛ませるでしょ普通
自然に高次元になるんじゃなくてそうなる様にしてるんだよ、ニューロン数は自由に決められるから
228: (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) 2019/10/13(日)20:44 ID:/3kPh57iM(1/2) AAS
ディープキスのほうがいい！
舌をからませるの
立つよね！
229(1): (ﾜｯﾁｮｲ 9501-qBpa [126.25.131.86]) 2019/10/13(日)20:48 ID:P1vmVh210(1) AAS
>ニューラルネットの近似能力は層を増やすと指数的に向上するが、中間層のニューロン数に対しては多項式的にしか上がらない
こんなことを示した論文などない。
よくこんなことをさも証明されたことの如く言えるな。
230(1): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)21:28 ID:kaSZg9r20(8/11) AAS
>>221
本質的な質問が来た
これについては俺も明確な答えは持ってないなぁ
直感的には、多層の方が中間層に保持できるパラメータ数が多く
そこには活性化関数を通した非線形の効果も含まれているので
ほどほどにノイズが消されていて抽象的な状態を保持できるから
と思うんだが、本当かどうかは分からない
231: (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/13(日)21:37 ID:llG9wcVha(5/5) AAS
>>229
Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural information processing systems. 2014.
NIPSの論文だが
何を根拠に「こんなことを示した論文などない(ｷﾘｯ」なんて言えたのか
232(1): (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)21:45 ID:kaSZg9r20(9/11) AAS
>>226
ちょうどいいので>>220で示したXORを例に説明しよう
入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる
すなわちx3をx1, x2から作れれば良いので
a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2
として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である
233: (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)21:46 ID:kaSZg9r20(10/11) AAS
>>226
ちょうどいいので>>220で示したXORを例に説明しよう
入力が2次元である(x1, x2)を拡張して3次元の(x1, x2, x3)にしようと思う
つまり
(0, 0, a) → 0
(0, 1, b) → 1
(1, 0, c) → 1
(1, 1, d) → 0
が出来て(a, b, c, d) = (0, 1, 1, 0)を設定できれば、平面z=0.5で2つの領域に分離できる
すなわちx3をx1, x2から作れれば良いので
a = w11・x1 + w12・x2
b = w21・x1 + w22・x2
c = w31・x1 + w32・x2
d = w41・x1 + w42・x2
として(w11, w12) = (1, 1), (w21, w22) = (1, 1), (w31, w32) = (1, 1), (w41, w42) = (1, -1)のような重みを設定する
a, b, c, dの式をよく見てみると、これは２個のニューロンを1層分増やした式そのものである
つまり層を1層増やすということは、次元を増やすことと同値である
234: (ｱｳｱｳｴｰ Sa13-NJTS [111.239.57.16]) 2019/10/13(日)22:05 ID:48i2xCpca(3/3) AAS
五、六層でいいのかと思いきや
ものすごく多層にするよねえ
うまくいくからという説明しかないのか?
235(2): (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) 2019/10/13(日)22:18 ID:/3kPh57iM(2/2) AAS
>>221
〉二層あれば大抵の関数は模倣できる
その『大抵』とは、どの程度なんですか？
それが示されてないのですから
まったく意味をなさないですよね？
>>230
その意味をなさない書き込みに、
本質的とかって、
レベル低すぎですね。
236: (ﾜｯﾁｮｲ 0da5-X53N [42.127.86.111]) 2019/10/13(日)22:20 ID:mSmeGM2p0(1) AAS
>>235
完全な関数の導入じゃなくて疑似的な関数が解ればいいから
237: (ﾜｯﾁｮｲ 653c-b92j [118.240.95.156]) 2019/10/13(日)22:35 ID:kaSZg9r20(11/11) AAS
>>235
あんたは性格悪いなぁ・・・
ニューラルネットワークの普遍性についての質問が本質的でないなら何が本質的なんだ?
知ってて聞いてるなら教えてやれよ
238: (ｱｳｱｳｶｰ Sa51-CdT3 [182.251.155.10]) 2019/10/14(月)00:26 ID:Xj3JYQcoa(1) AAS
専門的な知識はほとんどなく説明されても理解できる頭も持ってないけどマウントとりたいからとにかく突っかかる癖のある人が多すぎる
239: (ｱｳｱｳｴｰ Sa13-NJTS [111.239.57.6]) 2019/10/14(月)00:50 ID:yAy44Gfva(1) AAS
初等関数?
特殊関数?
240(1): (ﾜｯﾁｮｲ cb10-vzjJ [153.131.102.129]) 2019/10/14(月)07:16 ID:KQ95R8h/0(1) AAS
>>232
それだと
x1, x2の入力を受けるニューロンと
それからx3を計算するニューロンを並列に並べたら良い
x1-x1\
x2-x2-out
\x3/
みたいに
次元を増やすの意味として変数増加とx^2などと混同しやすい
これらを区別する言い方は何？
変数増加→高次元
x^2など→非線形
とか？
241(3): (ｽﾌﾟﾌﾟ Sd43-IE9o [49.96.34.97]) 2019/10/14(月)12:29 ID:utYACZDud(1/2) AAS
前に『ゼロから作るディープラーニング』買ったけど
これ3千円はする高額な本だけど、計算や式の意味がわからず挫折したなあ…。
やっぱノートに書いて解き方や意味を学習するしかないと思うねん。
242(1): (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) 2019/10/14(月)12:54 ID:syyLl6c1M(1/4) AAS
>>241
ならば『excelでわかるディープラーニング超入門』がオススメ
続編もある
243: (ﾜｯﾁｮｲ 35b0-+TD/ [180.29.199.198]) 2019/10/14(月)13:19 ID:aq/jCORe0(1) AAS
>>241
あの本は線型代数と微積分の知識は必須だと思う
244: (ﾜｯﾁｮｲ a3bd-NJTS [157.192.94.92]) 2019/10/14(月)13:53 ID:pO8Bz3ni0(1) AAS
機械学習に数学はいらないよ
245: (ｵｯﾍﾟｹ Sr61-B2ag [126.255.17.59]) 2019/10/14(月)14:01 ID:htBbaZR2r(1) AAS
機械学習に数学はいらないよおじさん「機械学習に数学はいらないよ」
246: (ﾄﾝﾓｰ MM59-d/3+ [210.142.95.69]) 2019/10/14(月)14:23 ID:syyLl6c1M(2/4) AAS
ソフト使うだけなら数学いらんわね
247(1): (ﾐｶｶｳｨ FF59-CdT3 [210.160.37.173]) 2019/10/14(月)14:26 ID:daX/fZMnF(1/2) AAS
適当にデータ放り込んで適当な手法を選択してなんとなく精度が良さそうなのを選ぶだけで成立する仕事なら数学など不要
普通の企業や研究室ではそんなものに金なんて出してくれないがな
248: (ｱｳｱｳｳｰ Sac9-B2ag [106.154.130.6]) 2019/10/14(月)14:31 ID:JdA0BOgta(1/3) AAS
>>247
そういう仕事は既にAutoMLに取られつつあるね
上下前次1-新書関写板覧索設栞歴
あと 754 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.026s