人工知能ディープラーニング機械学習の数学 ★3 (298ﾚｽ)
人工知能ディープラーニング機械学習の数学 ★3 http://mevius.5ch.net/test/read.cgi/tech/1598763788/
上
下
前次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
抽出解除
必死ﾁｪｯｶｰ(本家)
(べ)
自ID
ﾚｽ栞
あぼーん
ﾘﾛｰﾄﾞ規制
です｡10分ほどで解除するので､
他のﾌﾞﾗｳｻﾞ
へ避難してください｡
59: デフォルトの名無しさん [sage] 2021/10/26(火) 11:08:30.32 ID:jRF91jUl MNIST分類問題をアテンションで組んだら11%から全く正解率が上がらなかった でも先に進んでる論文を見つけて、真似して二次元の位置エンコーディングをフィルタ2カーネルサイズ1で畳み込んだらエポック5しか学習ループさせてないのに40%の正解率になってなお上昇中 Conv2Dの何がそんなに効果をもたらしているんだろう？ http://mevius.5ch.net/test/read.cgi/tech/1598763788/59
60: デフォルトの名無しさん [sage] 2021/10/26(火) 11:17:22.85 ID:jRF91jUl >>59 なお、MNISTのデータが[32, 28, 28, 1]で、位置エンコーディングとして[32, 28, 28, 2]を組み込んで、アテンション出力とスキップ結合させるためにDenseで次元を増やしたものを入力にするという流れ アテンションは一層のみで実装 http://mevius.5ch.net/test/read.cgi/tech/1598763788/60
61: デフォルトの名無しさん [sage] 2021/10/26(火) 11:31:40.82 ID:jRF91jUl >>59 見なくても分類では問題がないピクセルは位置エンコーディングを省くような学習がされてたりするのだろうか？ http://mevius.5ch.net/test/read.cgi/tech/1598763788/61
62: デフォルトの名無しさん [sage] 2021/10/26(火) 19:32:40.99 ID:jRF91jUl >>59 なぜかチューンアップしたら5エポックで90%まで正解率が上がった 画像解析にアテンション使った時に位置エンコーディングを畳み込むのって効果がありすぎて引くわ 理由はわからんけど http://mevius.5ch.net/test/read.cgi/tech/1598763788/62
ﾒﾓ帳
(0/65535文字)
上
下
前次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.024s