深層学習ってどうやってプログラムすんの？ [無断転載禁止]©2ch.net (112ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
87: 2022/03/07(月)09:13 ID:6TQf6DWh0(1/6) AAS
- ニューラルネット(1)
人間の神経細胞を模したネットワークモデルで、細胞１個をセルと呼び、これが最小単位となる
１つのセルは複数の入力(xi)を受取り一つの出力(y)を出す
受取った複数の入力の合計値(Σwij*xi)にある適当な非線形関数h()を演算し、これをyとする
各入力にはそれぞれ重みwiを与える
式でまとめると y = h((Σwij*xi)) こんな感じ
h()は活性化関数と呼ばれ、いわゆる学習曲線と考えればよい
88: 2022/03/07(月)09:14 ID:6TQf6DWh0(2/6) AAS
- ニューラルネット(2)
セルを多数連結したものがニューラルネットである（とりあえず電気回路のようなものをイメージすればよい）
実際、プログラミングテクニックとして電気回路のシミュレーションのようなイメージをもっていればよい
グラフを使ったプログラミングテクニックはニューラルネットに限らずいろいろな応用例がある
注意点としては
1) 流れる情報は電流のような連続量ではなく、パルスのような離散量である
2) 工学的テクニックとして、ネットワークを幾つかの階層に分解する
入力層(x) => 中間層1 => 中間層2 => … => 中間層n => 出力層(y)
各層は縦に並べた１次元配列と思えばよい
3) 各層を離散量が順次流れていく間に、上で定義した重み(wij)の値が更新されていくイメージだ
省3
89: 2022/03/07(月)09:20 ID:6TQf6DWh0(3/6) AAS
- ニューラルネット(3)
上記(1)(2)だけではなぜ学習されるのかが説明されていない
実は出力層(y)の結果からニューラルネット全体の各重み情報(wij)を改善する演算が行われる
バックプロパゲーション(逆伝播)といわれるテクニックである
通常の順路は入力=>出力の方向に情報伝搬するが
出力(y)に到達したら、出力=>入力の方向に逆伝播させて、重み情報(wij)を改善するのである
このとき目的関数を最小化するという最適化手法が使われる
イメージとしては出力結果(y)と学習目標(Y)を比較し、最小二乗法で最適な重み分布(wij)を求めるわけ
90: 2022/03/07(月)09:21 ID:6TQf6DWh0(4/6) AAS
- ニューラルネット(4)
基本的には上記演算（入力層から出力層まで流す演算）を１セットと見立て、
膨大な入力データ（と学習目標データ）を準備して流すことで、学習が進んでいくイメージだ
他にも細かいテクニックはいろいろあるが、
ニューラルネット全体を y=f(x) というフィルタに見立て、(x,y)を与えて関数fを求めていく複雑な演算だと思えばよい
fを決めるのは重み情報(wij)ということになる
91: 2022/03/07(月)11:04 ID:6TQf6DWh0(5/6) AAS
- ニューラルネット(5) 順伝搬と逆伝播
順伝搬では各層を通過するごとに入力合計を非線形関数に入れて計算する
変数が膨大である場合、変数全体を連続量として考えればこれは「積分」に相当する
Σの代わりに∫と考えれば、逆伝播は「微分」ということになる
順伝搬では積分の累積が行われ、逆伝播では微分しながら累積をほどいていく
これは「自動微分」と言われるグラフを使って微分/積分を行う手法だ
「自動微分」を知らないとなぜ順伝搬や逆伝播が有効なのかわからない
92: 2022/03/07(月)11:08 ID:6TQf6DWh0(6/6) AAS
- ニューラルネット(6) 「分割して統治せよ」
「確率的勾配降下法」で躓く人もいるかもしれない
なんでミニバッチみたいなのが必要なのか？
それは入力データ（と学習目標データ）が膨大であるからだ
仮に10万個の入力データとn層のネットワークを考えてみる
解である重み情報(wij)は単純に考えても10万×nくらいにはなるはずで、こんな微分方程式を解くのは容易ではない
しかし世の中には頭のいい人がいるもので巨大な方程式を分割して少しずつ解くのである
10万個を100分割すれば変数は100分の１で済む。必要な方程式の数も100分の１で済む
1000変数の方程式を100回行うことで巨大な方程式を解いたことにするのだ
当然求めた解は出鱈目になるが、これを何回も繰り返すことで求める最適解に近づいていくように調整するのだ
省2
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.564s*