人工知能ディープラーニング機械学習の数学 ★3 (298ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
59(3): 2021/10/26(火)11:08 ID:jRF91jUl(1/4) AAS
MNIST分類問題をアテンションで組んだら11%から全く正解率が上がらなかった
でも先に進んでる論文を見つけて、真似して二次元の位置エンコーディングをフィルタ2カーネルサイズ1で畳み込んだらエポック5しか学習ループさせてないのに40%の正解率になってなお上昇中
Conv2Dの何がそんなに効果をもたらしているんだろう？
60: 2021/10/26(火)11:17 ID:jRF91jUl(2/4) AAS
>>59
なお、MNISTのデータが[32, 28, 28, 1]で、位置エンコーディングとして[32, 28, 28, 2]を組み込んで、アテンション出力とスキップ結合させるためにDenseで次元を増やしたものを入力にするという流れ
アテンションは一層のみで実装
61: 2021/10/26(火)11:31 ID:jRF91jUl(3/4) AAS
>>59
見なくても分類では問題がないピクセルは位置エンコーディングを省くような学習がされてたりするのだろうか？
62: 2021/10/26(火)19:32 ID:jRF91jUl(4/4) AAS
>>59
なぜかチューンアップしたら5エポックで90%まで正解率が上がった
画像解析にアテンション使った時に位置エンコーディングを畳み込むのって効果がありすぎて引くわ
理由はわからんけど
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.022s