[過去ﾛｸﾞ] 【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
536: (ﾜｯﾁｮｲ 8d01-U1YL [122.255.141.199]) 2022/05/10(火)18:51 ID:gcxSlYEt0(1) AAS
・日立、週休3日で給与維持 生産性向上へ働き方改革 時間から成果へ転換
・日立、最低勤務時間を撤廃 「週休3日」も可能に
・2022年の新入社員、79.8%がテレワーク オフィスの必要性は？
・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由
・日立やNECが導入へ 「週休3日」は人材獲得の切り札
・リクルートグループ、週休｢約3日｣に。4月から年間休日を145日に増加へ
・カルビー／国内社員3900人を対象に副業解禁
537: (ｱｰｸｾｰ Sx91-PvPk [126.151.83.114]) 2022/05/10(火)19:37 ID:rAiWhgPwx(1) AAS
>>535
確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた
538: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/10(火)19:43 ID:OS09Ye+10(2/2) AAS
そういうことかと
539: (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/11(水)02:35 ID:n/T4USjf0(1/4) AAS
確率的勾配降下法と最急降下法が混じってないか？
最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新
確率的勾配降下法：１サンプル毎に勾配を求めてウエイトを更新
ミニバッチ勾配降下法：ミニバッチ毎に勾配を求めてウエイトを更新
んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね
540: (ﾜｯﾁｮｲ 8d7c-maJN [122.218.227.106]) 2022/05/11(水)03:49 ID:2hlm/96F0(1/2) AAS
ごめん訂正ありがと
541: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/11(水)06:58 ID:168GVk5R0(1/2) AAS
ミニバッチも偏ってたら駄目じゃない？
542: (ﾜｯﾁｮｲ 8d7c-maJN [122.218.227.106]) 2022/05/11(水)09:33 ID:2hlm/96F0(2/2) AAS
駄目だよね
偏ったサンプルの気持ちいい場所に捕まってしまう
543: (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/11(水)09:43 ID:n/T4USjf0(2/4) AAS
確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ
普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが
性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが
偏りやすくなる場合がある
そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための
手段が用意されてたりする
バッチの処理順序はランダムでok
544: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/11(水)13:57 ID:SfomTu1y0(1/3) AAS
ミニバッチでもバッチのデータと全データで勾配方向が違うから確率的になるけどな
バッチサイズが小さいとそのズレは比較的大きくなる
545: (ﾜｯﾁｮｲ 7d5f-oYRD [106.73.226.99]) 2022/05/11(水)15:02 ID:F52sGOdk0(1) AAS
でもその差を理論的だったり実験的に検証してる論文はないんじゃない？
546: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.72.157]) 2022/05/11(水)15:06 ID:xW75jOAua(1) AAS
さすがにあるだろ。80年代にありそう
547: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/11(水)16:21 ID:SfomTu1y0(2/3) AAS
学習に使う全データは実際に発生するデータの部分集合である事は変わらない
全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる
あくまでも学習データに限定して最急降下というだけ
未知データに対する汎化能力で見ると最急降下になっているかは分からない
548(1): (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/11(水)20:06 ID:n/T4USjf0(3/4) AAS
それはなんかズレてるような
学習データでしか学習しない（勾配を求めて降下させることもない）んだから母集団とか持ち出さなくても
確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す
チャンスがあるかどうかなのでは
そういう意味ではミニバッチ法も確率的だというのはあってると思う
549: (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) 2022/05/11(水)20:15 ID:168GVk5R0(2/2) AAS
サイコロふってサンプル選んでミニバッチ作ることが確率的なの？
550: (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) 2022/05/11(水)20:32 ID:n/T4USjf0(4/4) AAS
サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする
でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い
そういう意味で確率的、なんだと思う
これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして
（でもちょっとだけ正しい方向に進みやすくして）少しずつ動きを小さくしていくと
最も安定したところに収束する
分子の動き＝温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる
だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね
551: (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) 2022/05/11(水)20:57 ID:SfomTu1y0(3/3) AAS
>>548
テスト用にデータを分けておいて汎化能力を評価する
過学習になっていないかを確認するため
それでもその後運用すると未学習データに対する精度が要求より低かったりする
552: (ﾜｯﾁｮｲ 8510-hJAo [114.163.141.1]) 2022/05/11(水)23:37 ID:cJjkDDOX0(1) AAS
過学習
意味: うまくいかないときの言い訳
553: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) 2022/05/11(水)23:47 ID:xXaj6qvMa(1) AAS
過学習できるってことはうまくいってるってことだよ
554: (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.94]) 2022/05/12(木)09:15 ID:24mxIbhrM(1/2) AAS
初期の学習率てどうやって決めれば良いの？ それとオプティマイザも
555(1): (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.94]) 2022/05/12(木)09:16 ID:24mxIbhrM(2/2) AAS
adam選んどきゃ正解なの？
556: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) 2022/05/12(木)11:51 ID:ssfk6Zuqa(1/2) AAS
ユニット数とかすべてひっくるめて、無限にある組み合わせの中から適当に選んで試しまくってよさげなのを決めるしかないよ
autokerasみたいなの使って半自動で探すのもいいけど、制限も多いから自力(コーディング)で探すのが楽
557: (ｽｯﾌﾟ Sd02-hJAo [1.75.155.91]) 2022/05/12(木)15:04 ID:mMTw6/Aad(1/2) AAS
過学習なんて言葉いい加減禁句にしてほしい。
エラソぶったおっさんが学会でわかった口して過学習、過学習‥‥‥ブツブツ。、
（苦笑）
558: (ｽｯﾌﾟ Sd02-hJAo [1.75.155.91]) 2022/05/12(木)15:07 ID:mMTw6/Aad(2/2) AAS
ただの造語に騙されないように‥‥‥
559: (ｻｻｸｯﾃﾛﾙ Sp91-YKh1 [126.234.43.89]) 2022/05/12(木)15:30 ID:TPnOtntRp(1) AAS
オーバーフィッティングならいいのか？
560: (JP 0Hca-Ix6I [103.163.220.94]) 2022/05/12(木)17:20 ID:l5soNYRaH(1) AAS
たとえばオセロや囲碁などのボードゲームではビットボードが使われてると思うんですが、
学習をさせるときは配列にビットを展開しないといけないんでしょうか？
それともインプットをビットボードの数値にしてもうまく学習できますか？
展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか？
561: (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) 2022/05/12(木)17:40 ID:ssfk6Zuqa(2/2) AAS
bit単位で扱うことはないな。画像データのほうがはるかにメモリ食う
具体的にはゲーム処理は1マス1enum（内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる
オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして
lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ
562: (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) 2022/05/12(木)18:07 ID:XThBUtns0(1/2) AAS
配列のほとんどの部分が0なので
疎な配列、疎行列あたりのライブラリを使って
メモリを節約する
563: (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.25]) 2022/05/12(木)18:20 ID:y2m3n7NiM(1) AAS
適当なオープンソースのやつみたら分かるんじゃね？
564: (ﾜｯﾁｮｲ ee10-uM1l [153.243.53.4]) 2022/05/12(木)18:43 ID:MKi5Gk5o0(1) AAS
>>555
3層パーセプトロンのような、小さいニューラルネットならAdam
VGGやResNetのような、深いネットワークなら、SGDが良いとされる
学習率はとりまデフォルトで様子見
565(1): (ｴﾑｿﾞﾈ FFa2-ZVzp [49.106.187.17]) 2022/05/12(木)19:08 ID:eWCwulp9F(1) AAS
過学習の何が気に入らないのか
過学習は過学習だろ
上下前次1-新書関写板覧索設栞歴
あと 437 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.014s