深層学習ってどうやってプログラムすんの？ [無断転載禁止]©2ch.net (119ﾚｽ)
上
下
前
次
1-
新
92
: 2022/03/07(月)11:08
ID:6TQf6DWh0(6/6)
AA×
[240|
320
|
480
|
600
|
100%
|
JPG
|
べ
|
ﾚｽ栞
|
ﾚｽ消
]
92: [sage] 2022/03/07(月) 11:08:16.75 ID:6TQf6DWh0 - ニューラルネット(6) 「分割して統治せよ」 「確率的勾配降下法」で躓く人もいるかもしれない なんでミニバッチみたいなのが必要なのか？ それは入力データ（と学習目標データ）が膨大であるからだ 仮に10万個の入力データとn層のネットワークを考えてみる 解である重み情報(wij)は単純に考えても10万×nくらいにはなるはずで、こんな微分方程式を解くのは容易ではない しかし世の中には頭のいい人がいるもので巨大な方程式を分割して少しずつ解くのである 10万個を100分割すれば変数は100分の１で済む。必要な方程式の数も100分の１で済む 1000変数の方程式を100回行うことで巨大な方程式を解いたことにするのだ 当然求めた解は出鱈目になるが、これを何回も繰り返すことで求める最適解に近づいていくように調整するのだ 100分割する際には、乱数を使って変数の組み合わせを毎回変えることで毎回異なる方程式を解いているが 元々同じ方程式の部分集合を解いているから、イタレーションを繰り返せば求める解に近似していくだろう http://rio2016.5ch.net/test/read.cgi/informatics/1476094055/92
ニューラルネット 分割して統治せよ 確率的勾配降下法でく人もいるかもしれない なんでミニバッチみたいなのが必要なのか？ それは入力データと学習目標データが膨大であるからだ 仮に万個の入力データと層のネットワークを考えてみる 解である重み情報は単純に考えても万くらいにはなるはずでこんな微分方程式を解くのは容易ではない しかし世の中には頭のいい人がいるもので巨大な方程式を分割して少しずつ解くのである 万個を分割すれば変数は分の１で済む必要な方程式の数も分の１で済む 変数の方程式を回行うことで巨大な方程式を解いたことにするのだ 当然求めた解は出鱈目になるがこれを何回も繰り返すことで求める最適解に近づいていくように調整するのだ 分割する際には乱数を使って変数の組み合わせを毎回変えることで毎回異なる方程式を解いているが 元同じ方程式の部分集合を解いているからイタレーションを繰り返せば求める解に近似していくだろう
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 27 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
ぬこの手
ぬこTOP
0.043s