[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング11 [無断転載禁止]©2ch.net (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
563(2): 2017/01/09(月)20:19 ID:JP3B1fld(1) AAS
積層の理解なんていらない。
主成分分析との関係がわかれば十分。
というか、主成分分析をほうを理解すればよい。あるいは主成分分析のコードを書いてみたり、その結果から次数さげてみたり。
564(2): 2017/01/09(月)20:56 ID:cjVtQucR(2/3) AAS
>>563
本当に？
ディープラーニングとはどう関係するの？
565: 2017/01/09(月)22:18 ID:ZM3HJLmM(2/2) AAS
>>564
DBNとPCAの関係考えれば自明だろ
566(1): 2017/01/09(月)22:41 ID:RbIvkBFq(3/3) AAS
>>564
真に受けるな、次元圧縮という視点だけで同一視してる極論。そもそも線形だし
567(1): 2017/01/09(月)23:32 ID:cjVtQucR(3/3) AAS
RBMだろ
568: 2017/01/10(火)00:08 ID:N74TPYKx(1/14) AAS
>>566
オートエンコーダで完全に入出力が一致すれば主成分分析と結果一致するのは数学的に証明されてるのに、何故否定？？
ちゃんと理解したうえで言ってる？？
569: 2017/01/10(火)00:18 ID:N74TPYKx(2/14) AAS
>>567
目的は一緒だが、やってることは違う
570(2): 2017/01/10(火)00:57 ID:mL71GP1A(1) AAS
オートエンコーダで積層にしているのは
２層だけだと収束が悪いので多層にしてるだけ。
ディープラーニングのメインコードとはもともと関係がない。
普通のオートエンコーダを理解すれば十分だけど、
>>563の言うとおり、条件を限定すれば
オートエンコーダの結果は主成分分析と一致する。
主成分分析の性質を理解することがオートエンコーダの理解に繋がる。
566は論外。
571(1): 2017/01/10(火)01:06 ID:Lw+Ts/nh(1/2) AAS
>>570
主成分分析の何と一致する？
固有値や固有ベクトルは？
572: 2017/01/10(火)01:18 ID:N74TPYKx(3/14) AAS
訓練データ{x1,x2,...}の共分散行列を作って、得られた固有ベクトルを並べたて格納した行列を新しい重み行列とすると、それはオートエンコーダで得られた重みと理論的には一致する。
共分散行列の固有値は次元の寄与率と考えることができて、小さい値の固有値の固有ベクトルは削除しても影響が小さい。
573: 2017/01/10(火)01:21 ID:N74TPYKx(4/14) AAS
てかそんぐらいググればいくらでも出てくる
574: 2017/01/10(火)01:22 ID:N74TPYKx(5/14) AAS
失礼。
聞かれたのは俺じゃないな
575: 2017/01/10(火)01:27 ID:N/5FQeNb(1) AAS
おまいらマジで頭よかったんだな
てっきり知能ポエムしか書けない連中だと見下してたわ
576: 2017/01/10(火)01:31 ID:N74TPYKx(6/14) AAS
つまり、オートエンコーダは、異なる入力に対して異なる結果になるように重り行列を最適化する。
(多数の入力が同じ結果にならないように最適化)
オートエンコーダで次元を下げるとかっていう話は実は二の次の話。
577(1): 2017/01/10(火)01:38 ID:N74TPYKx(7/14) AAS
上の情報だけで、つまりって言っちゃ、やや飛躍があるな。
共分散行列の固有ベクトルがはる空間
に入力ベクトルを持ってくることで上手くベクトルが分散してくれる
578(2): 2017/01/10(火)01:53 ID:/W/3Nfpm(1) AAS
畳み込みニューラルネットワークのフィルタってサイズの大きさどう設定すりゃいいの？
あと全結合層の層数って増やす意味ある？
579: 2017/01/10(火)06:52 ID:Lw+Ts/nh(2/2) AAS
>>577
固有値の大きな固有ベクトルから順に得られるかどうか判らないのでは？
580(1): 2017/01/10(火)07:36 ID:N74TPYKx(8/14) AAS
？
質問がよく分からない
どんな状況下にあるか、自分で手を動かして考えてみてください
581: 2017/01/10(火)08:32 ID:rVEdN69p(1) AAS
いまどきの国立大以上の工学部では
ディープラーニングの演習もあるのかしらん？
582(1): 2017/01/10(火)11:14 ID:/a9Ojlhv(1) AAS
オートエンコーダは、非線形性があるところは違うだろ
一層毎に非線形性があるんだから、スタックする意味もあるし
583(1): 2017/01/10(火)11:59 ID:N74TPYKx(9/14) AAS
>>582
それっていちいち突っ込むところ？
恒等写像の場合である程度重みの最適化の足掛かり掴んでるから十分だろ？
文句があるならカーネル関数使った主成分分析方法があるからそれ使え。
584: 2017/01/10(火)12:24 ID:VX/m3eLk(1/2) AAS
>>583
主成分分析しか知らないって言えばいいのにwww
585: 2017/01/10(火)12:26 ID:K8NZx8C0(1/2) AAS
だいたい積層オートエンコーダを質問してるのに、何で延々と主成分分析の話しをしてるんだか w
積層オートエンコーダ == 主成分分析 では断じてないことさえ分からんのかw
586: 2017/01/10(火)12:28 ID:N74TPYKx(10/14) AAS
何かろくに理論知らないクズ野郎しかしいないって思いたくないんだが‥‥
(そもそもこっちはただのサラリーマンだし)
587(2): 2017/01/10(火)12:29 ID:BtJxF5z4(1/3) AAS
>>580
寄与率の大きな固有ベクトルから順に結合として得られる保証があるのかってこと
固有ベクトルの個数は隠れ層のユニット数だろうけど
それが寄与率の大きなものから順に得られるのか？
588(2): 2017/01/10(火)12:32 ID:N74TPYKx(11/14) AAS
ハイハイ分かった分かった
オートエンコーダ経由での物理現象の説明はこっちはわかりません。
自分で調べてください。
ちなみにオートエンコーダでの次数下げは単独でユニット数減らすだけ
589: 2017/01/10(火)12:39 ID:K8NZx8C0(2/2) AAS
>>588
これ、笑うところ？www
| ちなみにオートエンコーダでの次数下げは単独でユニット数減らすだけ
590: 2017/01/10(火)12:41 ID:VX/m3eLk(2/2) AAS
>>588
表面しか見れないんだな。
deep learning は全然知らないと言えばいいのに
591: 2017/01/10(火)12:43 ID:N74TPYKx(12/14) AAS
単独で中間層のユニット数減らすだけ！
592: 2017/01/10(火)12:44 ID:N74TPYKx(13/14) AAS
そもそも>>570でなんで積層にしてるかいてるでしょ
上下前次1-新書関写板覧索設栞歴
あと 410 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.014s