[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
566: (ｱｰｸｾｰ Sx91-PvPk [126.196.37.22]) 2022/05/12(木)19:13 ID:SeeVGpfXx(1/2) AAS
>>565
過学習って学習しているわけじゃなく、学習データを丸暗記してるのと同じだよね
それを学習といいたくないんじゃないかな
567(3): (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:17 ID:QHBqVOhI0(1/4) AAS
過学習と学習不足(未学習)は機械学習の基本的な考え方だねー。varianceとbiasと考えてもいいよー
ところがディープラーニングの世界では、過学習の先に突然精度が上がる現象が確認されてるよー
不思議だねー
568(1): (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.159.12]) 2022/05/12(木)19:26 ID:awPT4EK2M(1) AAS
>>567
この現象、体験したことないんだけどMNISTあたりでも観測できるの？
569: (ｱｰｸｾｰ Sx91-PvPk [126.196.37.22]) 2022/05/12(木)19:30 ID:SeeVGpfXx(2/2) AAS
>>567
適当にぐぐったけどこれのこと？
過学習後も精度向上!?【論文】Deep Double Descent: Where Bigger Models and More Data Hurt の解説
外部ﾘﾝｸ[html]:www.acceluniverse.com
ニワカに信じがたいので、ちょっと読んでみる
570: (ｱｳｱｳｳｰ Sac5-ZVzp [106.146.112.241]) 2022/05/12(木)19:34 ID:V9a83oNra(1) AAS
丸暗記だって学習は学習
人間でも暗記は必要最低限だけにして知識を効率活用できる人もいれば丸暗記したことしか理解できずちょっと応用問題出されただけで理解不能に陥る人もいる
571: (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:35 ID:QHBqVOhI0(2/4) AAS
Double Descentだねー
大規模言語モデルだと前提になってるよー
572: (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:38 ID:QHBqVOhI0(3/4) AAS
とはいえ過学習を是とすると、それはただの全文検索なので
Double Descent, Overparameterizationは既知の概念ではない何かなんだろうねー
573(1): (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:41 ID:QHBqVOhI0(4/4) AAS
>>568
トイプロブレムで実証したことはないけど、実務で大きめのモデルを扱っている人は、みんなそれっぽい現象を観測した経験があると思うよー
とはいえ、概念を先に知らないと偶然としか思わないんだけどねー
574: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/12(木)20:23 ID:gGBQiRDa0(1) AAS
>>573
ふうん
575: (ﾃﾃﾝﾃﾝﾃﾝ MM82-qw0W [193.119.164.69]) 2022/05/12(木)22:36 ID:m2THFYn4M(1) AAS
>>567
局所解って話ではないの？
576: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/12(木)23:38 ID:XThBUtns0(2/2) AAS
事例が多くなると
結局あらゆる事例が網羅されるという意味じゃね?
577(1): (ﾜｯﾁｮｲ 09e6-/zFp [14.3.19.207]) 2022/05/12(木)23:53 ID:CoPLz2Vj0(1) AAS
この分野まともな理屈なんて何一つねーんだし
深く考えても無駄よ
他の工学分野とかもっと理論でガチガチに固めてるしな
578: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/13(金)12:37 ID:AsvYLwfP0(1) AAS
日本の研究者って理論も弱いよね
579: (ﾜｯﾁｮｲ 7d5f-oYRD [106.73.226.99]) 2022/05/13(金)15:43 ID:nFnwnz+O0(1) AAS
弱いというか、現実のDNNの収束過程とは離れた、あまりに理論寄りすぎることばっかりやってる。
580: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/13(金)16:49 ID:NE9V9IQG0(1) AAS
現実の結果の説明は多分この先もできないよね
581: (ﾜｯﾁｮｲ 0255-/AKQ [59.147.205.222]) 2022/05/13(金)16:53 ID:N8AZ2EKD0(1) AAS
岡谷さんってどうですか？
582: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/13(金)20:05 ID:UTtAr0xn0(1/2) AAS
>>577
あなたが知らないだけなんじゃないの？
583: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/13(金)20:07 ID:UTtAr0xn0(2/2) AAS
学習は教師信号との誤差とかで決まる評価関数の値を小さくする結合とかのパラメータを見つける問題に帰着するんだろうな
大まかに言えば組合せ最適化問題
584: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.3]) 2022/05/13(金)21:14 ID:btyzcX5fa(1) AAS
問題にしてるレイヤーが違うんだろ
パラメーターだなんだってのは理論だらけだけど
そのデータからどうして予測できるんだ（どんな特徴が使われてるんだ）とか、このモデルよりもあっちのモデルのほうがうまくいく理由は？みたいなとこはこじつけだらけ
585(1): (ﾜｯﾁｮｲ a45f-eDpJ [106.73.226.99]) 2022/05/14(土)00:04 ID:0dDHcT1o0(1) AAS
理論がないってのは言い過ぎだけど、まあまだわからんことは多いのは事実。
ある程度わかってもパラメータチューニングについては機械的に探すって話はずっと続きそうではある。
586: (ｱｳｱｳｳｰ Sa15-IsGS [106.154.4.241]) 2022/05/14(土)06:50 ID:O8qOoha4a(1) AAS
>>585
別に言い過ぎではないよ。
色々試行錯誤してデモ向けチャンピオンﾃﾞｰﾀ探して
発表や論文書いてそこまで、やりっ放し。
再現性無しじゃ理論も減った暮れも
587: (ｽｯﾌﾟ Sdde-qOGV [1.75.152.73]) 2022/05/14(土)16:15 ID:tMZG04rkd(1/2) AAS
ただのフィッティング技法と考えてよい
教師なし学習は逆フィッティングだが
588: (ﾃﾃﾝﾃﾝﾃﾝ MMb4-pOvi [133.106.57.5]) 2022/05/14(土)17:29 ID:4saW8Bc8M(1) AAS
別の手法として発表されたものが
理論的には同じことをしてるという事もある
589(1): (ｽｯﾌﾟ Sdde-qOGV [1.75.152.73]) 2022/05/14(土)19:16 ID:tMZG04rkd(2/2) AAS
ファッションでやってる輩が増えてて困る
590(1): (ﾜｯﾁｮｲ ca10-Vod4 [153.243.53.4]) 2022/05/14(土)19:28 ID:3asw//Zv0(1) AAS
逆フィッティングとは
591(1): (ﾜｯﾁｮｲ 8efb-WgHi [92.203.11.83]) 2022/05/14(土)23:22 ID:gU3pbgYf0(1) AAS
>>589
誰だって最初はにわかな存在ですし、分野としては新規参入者が多いことは喜ばしいことですよ。
592: (ﾜｯﾁｮｲ d610-qOGV [114.163.141.1]) 2022/05/15(日)05:04 ID:RG3j7DCt0(1) AAS
>>590
集合と集合の分離する（最大限離す）境界を作成するという意味で用いた。多意はない
>>591
↓これ見たとき何か勘違いしてる輩のギャグかなと思った
動画ﾘﾝｸ[YouTube]
593(1): (ﾃﾃﾝﾃﾝﾃﾝ MM9a-94oM [193.119.158.78]) 2022/05/16(月)11:59 ID:oRnyDlKgM(1) AAS
cnnで特徴抽出するときの中間層てどこでもいいの？
convの直後がいいの？それとも活性化通した後のがいいの？
594(1): (ﾜｯﾁｮｲ ca10-biPL [153.243.43.6]) 2022/05/16(月)12:08 ID:ucnn58bs0(1) AAS
>>593
転移学習の話なら出力層の直前までを再利用することが多いよー
XAIの話ならなんとも言えないねー。ただ、あまり深い層だと(人が見て)解釈が難しいことが多いよー
595: (ﾃﾃﾝﾃﾝﾃﾝ MM9a-94oM [193.119.152.63]) 2022/05/16(月)15:03 ID:04bK1tejM(1) AAS
>>594
fc入る直前のを特徴として使ってた
他の層も特徴として一緒に使えば精度か上がるかなって思った
上下前次1-新書関写板覧索設栞歴
あと 407 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.013s