[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
560: (JP 0Hca-Ix6I [103.163.220.94]) 2022/05/12(木)17:20 ID:l5soNYRaH(1) AAS
たとえばオセロや囲碁などのボードゲームではビットボードが使われてると思うんですが、
学習をさせるときは配列にビットを展開しないといけないんでしょうか？
それともインプットをビットボードの数値にしてもうまく学習できますか？
展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか？
561: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) 2022/05/12(木)17:40 ID:ssfk6Zuqa(2/2) AAS
bit単位で扱うことはないな。画像データのほうがはるかにメモリ食う
具体的にはゲーム処理は1マス1enum（内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる
オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして
lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ
562: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/12(木)18:07 ID:XThBUtns0(1/2) AAS
配列のほとんどの部分が0なので
疎な配列、疎行列あたりのライブラリを使って
メモリを節約する
563: (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.25]) 2022/05/12(木)18:20 ID:y2m3n7NiM(1) AAS
適当なオープンソースのやつみたら分かるんじゃね？
564: (ﾜｯﾁｮｲ ee10-uM1l [153.243.53.4]) 2022/05/12(木)18:43 ID:MKi5Gk5o0(1) AAS
>>555
3層パーセプトロンのような、小さいニューラルネットならAdam
VGGやResNetのような、深いネットワークなら、SGDが良いとされる
学習率はとりまデフォルトで様子見
565(1): (ｴﾑｿﾞﾈ FFa2-ZVzp [49.106.187.17]) 2022/05/12(木)19:08 ID:eWCwulp9F(1) AAS
過学習の何が気に入らないのか
過学習は過学習だろ
566: (ｱｰｸｾｰ Sx91-PvPk [126.196.37.22]) 2022/05/12(木)19:13 ID:SeeVGpfXx(1/2) AAS
>>565
過学習って学習しているわけじゃなく、学習データを丸暗記してるのと同じだよね
それを学習といいたくないんじゃないかな
567(3): (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:17 ID:QHBqVOhI0(1/4) AAS
過学習と学習不足(未学習)は機械学習の基本的な考え方だねー。varianceとbiasと考えてもいいよー
ところがディープラーニングの世界では、過学習の先に突然精度が上がる現象が確認されてるよー
不思議だねー
568(1): (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.159.12]) 2022/05/12(木)19:26 ID:awPT4EK2M(1) AAS
>>567
この現象、体験したことないんだけどMNISTあたりでも観測できるの？
569: (ｱｰｸｾｰ Sx91-PvPk [126.196.37.22]) 2022/05/12(木)19:30 ID:SeeVGpfXx(2/2) AAS
>>567
適当にぐぐったけどこれのこと？
過学習後も精度向上!?【論文】Deep Double Descent: Where Bigger Models and More Data Hurt の解説
外部ﾘﾝｸ[html]:www.acceluniverse.com
ニワカに信じがたいので、ちょっと読んでみる
570: (ｱｳｱｳｳｰ Sac5-ZVzp [106.146.112.241]) 2022/05/12(木)19:34 ID:V9a83oNra(1) AAS
丸暗記だって学習は学習
人間でも暗記は必要最低限だけにして知識を効率活用できる人もいれば丸暗記したことしか理解できずちょっと応用問題出されただけで理解不能に陥る人もいる
571: (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:35 ID:QHBqVOhI0(2/4) AAS
Double Descentだねー
大規模言語モデルだと前提になってるよー
572: (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:38 ID:QHBqVOhI0(3/4) AAS
とはいえ過学習を是とすると、それはただの全文検索なので
Double Descent, Overparameterizationは既知の概念ではない何かなんだろうねー
573(1): (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) 2022/05/12(木)19:41 ID:QHBqVOhI0(4/4) AAS
>>568
トイプロブレムで実証したことはないけど、実務で大きめのモデルを扱っている人は、みんなそれっぽい現象を観測した経験があると思うよー
とはいえ、概念を先に知らないと偶然としか思わないんだけどねー
574: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/12(木)20:23 ID:gGBQiRDa0(1) AAS
>>573
ふうん
575: (ﾃﾃﾝﾃﾝﾃﾝ MM82-qw0W [193.119.164.69]) 2022/05/12(木)22:36 ID:m2THFYn4M(1) AAS
>>567
局所解って話ではないの？
576: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/12(木)23:38 ID:XThBUtns0(2/2) AAS
事例が多くなると
結局あらゆる事例が網羅されるという意味じゃね?
577(1): (ﾜｯﾁｮｲ 09e6-/zFp [14.3.19.207]) 2022/05/12(木)23:53 ID:CoPLz2Vj0(1) AAS
この分野まともな理屈なんて何一つねーんだし
深く考えても無駄よ
他の工学分野とかもっと理論でガチガチに固めてるしな
578: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/13(金)12:37 ID:AsvYLwfP0(1) AAS
日本の研究者って理論も弱いよね
579: (ﾜｯﾁｮｲ 7d5f-oYRD [106.73.226.99]) 2022/05/13(金)15:43 ID:nFnwnz+O0(1) AAS
弱いというか、現実のDNNの収束過程とは離れた、あまりに理論寄りすぎることばっかりやってる。
580: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/13(金)16:49 ID:NE9V9IQG0(1) AAS
現実の結果の説明は多分この先もできないよね
581: (ﾜｯﾁｮｲ 0255-/AKQ [59.147.205.222]) 2022/05/13(金)16:53 ID:N8AZ2EKD0(1) AAS
岡谷さんってどうですか？
582: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/13(金)20:05 ID:UTtAr0xn0(1/2) AAS
>>577
あなたが知らないだけなんじゃないの？
583: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/13(金)20:07 ID:UTtAr0xn0(2/2) AAS
学習は教師信号との誤差とかで決まる評価関数の値を小さくする結合とかのパラメータを見つける問題に帰着するんだろうな
大まかに言えば組合せ最適化問題
584: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.3]) 2022/05/13(金)21:14 ID:btyzcX5fa(1) AAS
問題にしてるレイヤーが違うんだろ
パラメーターだなんだってのは理論だらけだけど
そのデータからどうして予測できるんだ（どんな特徴が使われてるんだ）とか、このモデルよりもあっちのモデルのほうがうまくいく理由は？みたいなとこはこじつけだらけ
585(1): (ﾜｯﾁｮｲ a45f-eDpJ [106.73.226.99]) 2022/05/14(土)00:04 ID:0dDHcT1o0(1) AAS
理論がないってのは言い過ぎだけど、まあまだわからんことは多いのは事実。
ある程度わかってもパラメータチューニングについては機械的に探すって話はずっと続きそうではある。
586: (ｱｳｱｳｳｰ Sa15-IsGS [106.154.4.241]) 2022/05/14(土)06:50 ID:O8qOoha4a(1) AAS
>>585
別に言い過ぎではないよ。
色々試行錯誤してデモ向けチャンピオンﾃﾞｰﾀ探して
発表や論文書いてそこまで、やりっ放し。
再現性無しじゃ理論も減った暮れも
587: (ｽｯﾌﾟ Sdde-qOGV [1.75.152.73]) 2022/05/14(土)16:15 ID:tMZG04rkd(1/2) AAS
ただのフィッティング技法と考えてよい
教師なし学習は逆フィッティングだが
588: (ﾃﾃﾝﾃﾝﾃﾝ MMb4-pOvi [133.106.57.5]) 2022/05/14(土)17:29 ID:4saW8Bc8M(1) AAS
別の手法として発表されたものが
理論的には同じことをしてるという事もある
589(1): (ｽｯﾌﾟ Sdde-qOGV [1.75.152.73]) 2022/05/14(土)19:16 ID:tMZG04rkd(2/2) AAS
ファッションでやってる輩が増えてて困る
上下前次1-新書関写板覧索設栞歴
あと 413 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.228s*