[過去ﾛｸﾞ]
【統計分析】機械学習・データマイニング31 (1002ﾚｽ)
【統計分析】機械学習・データマイニング31 http://mevius.5ch.net/test/read.cgi/tech/1632587566/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
534: デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-cfd4 [153.243.43.6]) [] 2022/05/10(火) 18:17:38.04 ID:/XkHfgKF0 >>533 具体的な論文は把握してないけど、時系列予測で考えると直感的な理解が得られ易いと思うよー http://mevius.5ch.net/test/read.cgi/tech/1632587566/534
535: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/10(火) 18:35:36.21 ID:zWCxNbfy0 >>533 俺も論文とかはわからないが教科書に載ってるレベルの話なような バッチのサンプルでまとめて勾配を計算するので、サンプルのバランスが悪いと ウエイトがあっちに行ったりこっちに行ったりしてしまうが、 バランスが良いとあるべき方向に真っ直ぐ進みやすい、ということかなと直感的には理解している http://mevius.5ch.net/test/read.cgi/tech/1632587566/535
536: デフォルトの名無しさん (ﾜｯﾁｮｲ 8d01-U1YL [122.255.141.199]) [sage] 2022/05/10(火) 18:51:37.71 ID:gcxSlYEt0 ・日立、週休3日で給与維持 生産性向上へ働き方改革 時間から成果へ転換 ・日立、最低勤務時間を撤廃 「週休3日」も可能に ・2022年の新入社員、79.8%がテレワーク オフィスの必要性は？ ・日立、富士通、NEC…「ジョブ型雇用」を大企業が続々導入する理由 ・日立やNECが導入へ 「週休3日」は人材獲得の切り札 ・リクルートグループ、週休｢約3日｣に。4月から年間休日を145日に増加へ ・カルビー／国内社員3900人を対象に副業解禁 http://mevius.5ch.net/test/read.cgi/tech/1632587566/536
537: デフォルトの名無しさん (ｱｰｸｾｰ Sx91-PvPk [126.151.83.114]) [sage] 2022/05/10(火) 19:37:35.64 ID:rAiWhgPwx >>535 確率的最急降下法だから、偏った方向に突き進むのは良くないとか、そういう次元の話だと思っていた http://mevius.5ch.net/test/read.cgi/tech/1632587566/537
538: デフォルトの名無しさん (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) [sage] 2022/05/10(火) 19:43:41.75 ID:OS09Ye+10 そういうことかと http://mevius.5ch.net/test/read.cgi/tech/1632587566/538
539: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 02:35:50.86 ID:n/T4USjf0 確率的勾配降下法と最急降下法が混じってないか？ 最急降下法 : 全サンプルで一度に勾配を求めてウエイトを更新 確率的勾配降下法：１サンプル毎に勾配を求めてウエイトを更新 ミニバッチ勾配降下法：ミニバッチ毎に勾配を求めてウエイトを更新 んで >>524- あたりから話してるのはミニバッチ勾配降下法についてね http://mevius.5ch.net/test/read.cgi/tech/1632587566/539
540: デフォルトの名無しさん (ﾜｯﾁｮｲ 8d7c-maJN [122.218.227.106]) [sage] 2022/05/11(水) 03:49:48.40 ID:2hlm/96F0 ごめん訂正ありがと http://mevius.5ch.net/test/read.cgi/tech/1632587566/540
541: デフォルトの名無しさん (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) [sage] 2022/05/11(水) 06:58:42.56 ID:168GVk5R0 ミニバッチも偏ってたら駄目じゃない？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/541
542: デフォルトの名無しさん (ﾜｯﾁｮｲ 8d7c-maJN [122.218.227.106]) [sage] 2022/05/11(水) 09:33:13.11 ID:2hlm/96F0 駄目だよね 偏ったサンプルの気持ちいい場所に捕まってしまう http://mevius.5ch.net/test/read.cgi/tech/1632587566/542
543: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 09:43:34.76 ID:n/T4USjf0 確率的勾配降下法でもミニバッチでもサンプルの与え方が偏るのはダメ 普通は学習ツールがランダムシャッフルしてくれるから気にしなくてもだいたいうまく行くが 性質の違うデータの種類がいっぱいあるような場合はランダムに任せてるとバッチ内のサンプルが 偏りやすくなる場合がある そのため、たいていの学習プラットフォームではバッチを生成する処理を上書きするための 手段が用意されてたりする バッチの処理順序はランダムでok http://mevius.5ch.net/test/read.cgi/tech/1632587566/543
544: デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) [sage] 2022/05/11(水) 13:57:20.69 ID:SfomTu1y0 ミニバッチでもバッチのデータと全データで勾配方向が違うから確率的になるけどな バッチサイズが小さいとそのズレは比較的大きくなる http://mevius.5ch.net/test/read.cgi/tech/1632587566/544
545: デフォルトの名無しさん (ﾜｯﾁｮｲ 7d5f-oYRD [106.73.226.99]) [sage] 2022/05/11(水) 15:02:21.52 ID:F52sGOdk0 でもその差を理論的だったり実験的に検証してる論文はないんじゃない？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/545
546: デフォルトの名無しさん (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.72.157]) [sage] 2022/05/11(水) 15:06:03.86 ID:xW75jOAua さすがにあるだろ。80年代にありそう http://mevius.5ch.net/test/read.cgi/tech/1632587566/546
547: デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) [sage] 2022/05/11(水) 16:21:53.90 ID:SfomTu1y0 学習に使う全データは実際に発生するデータの部分集合である事は変わらない 全データで勾配を計算したとしても母集団の情報を使っている事にはならないから確率的勾配降下とも解釈できる あくまでも学習データに限定して最急降下というだけ 未知データに対する汎化能力で見ると最急降下になっているかは分からない http://mevius.5ch.net/test/read.cgi/tech/1632587566/547
548: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 20:06:44.40 ID:n/T4USjf0 それはなんかズレてるような 学習データでしか学習しない（勾配を求めて降下させることもない）んだから母集団とか持ち出さなくても 確率的と最急降下の本質的な違いは、確率的に学習することによりローカルミニマムを抜け出す チャンスがあるかどうかなのでは そういう意味ではミニバッチ法も確率的だというのはあってると思う http://mevius.5ch.net/test/read.cgi/tech/1632587566/548
549: デフォルトの名無しさん (ﾜｯﾁｮｲ 9d6e-xesJ [138.64.67.32]) [sage] 2022/05/11(水) 20:15:05.10 ID:168GVk5R0 サイコロふってサンプル選んでミニバッチ作ることが確率的なの？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/549
550: デフォルトの名無しさん (ﾜｯﾁｮｲ 5102-U1YL [118.154.96.7]) [sage] 2022/05/11(水) 20:32:09.62 ID:n/T4USjf0 サンプルの選び方によって勾配が変わるので学習の方向はあっち行ったりこっち行ったりする でもどちらかと言うと正しい方向に進む確率の方がちょっとだけ高い そういう意味で確率的、なんだと思う これはアニーリング問題と同じで、分子を最初は大きくランダムに動かして （でもちょっとだけ正しい方向に進みやすくして）少しずつ動きを小さくしていくと 最も安定したところに収束する 分子の動き＝温度で、温度を十分にゆっくり下げると最適解に到達することが証明されてる だからDLでも学習率(温度と等価)の下げ方が重要なんだが最近は自動になって便利だね http://mevius.5ch.net/test/read.cgi/tech/1632587566/550
551: デフォルトの名無しさん (ﾜｯﾁｮｲ ee10-ojei [153.131.102.129]) [sage] 2022/05/11(水) 20:57:45.21 ID:SfomTu1y0 >>548 テスト用にデータを分けておいて汎化能力を評価する 過学習になっていないかを確認するため それでもその後運用すると未学習データに対する精度が要求より低かったりする http://mevius.5ch.net/test/read.cgi/tech/1632587566/551
552: デフォルトの名無しさん (ﾜｯﾁｮｲ 8510-hJAo [114.163.141.1]) [sage] 2022/05/11(水) 23:37:55.47 ID:cJjkDDOX0 過学習 意味: うまくいかないときの言い訳 http://mevius.5ch.net/test/read.cgi/tech/1632587566/552
553: デフォルトの名無しさん (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) [sage] 2022/05/11(水) 23:47:40.71 ID:xXaj6qvMa 過学習できるってことはうまくいってるってことだよ http://mevius.5ch.net/test/read.cgi/tech/1632587566/553
554: デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.94]) [sage] 2022/05/12(木) 09:15:39.58 ID:24mxIbhrM 初期の学習率てどうやって決めれば良いの？ それとオプティマイザも http://mevius.5ch.net/test/read.cgi/tech/1632587566/554
555: デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.94]) [sage] 2022/05/12(木) 09:16:43.48 ID:24mxIbhrM adam選んどきゃ正解なの？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/555
556: デフォルトの名無しさん (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) [sage] 2022/05/12(木) 11:51:42.19 ID:ssfk6Zuqa ユニット数とかすべてひっくるめて、無限にある組み合わせの中から適当に選んで試しまくってよさげなのを決めるしかないよ autokerasみたいなの使って半自動で探すのもいいけど、制限も多いから自力(コーディング)で探すのが楽 http://mevius.5ch.net/test/read.cgi/tech/1632587566/556
557: デフォルトの名無しさん (ｽｯﾌﾟ Sd02-hJAo [1.75.155.91]) [sage] 2022/05/12(木) 15:04:07.76 ID:mMTw6/Aad 過学習なんて言葉いい加減禁句にしてほしい。 エラソぶったおっさんが学会でわかった口して過学習、過学習‥‥‥ブツブツ。、 （苦笑） http://mevius.5ch.net/test/read.cgi/tech/1632587566/557
558: デフォルトの名無しさん (ｽｯﾌﾟ Sd02-hJAo [1.75.155.91]) [sage] 2022/05/12(木) 15:07:39.54 ID:mMTw6/Aad ただの造語に騙されないように‥‥‥ http://mevius.5ch.net/test/read.cgi/tech/1632587566/558
559: デフォルトの名無しさん (ｻｻｸｯﾃﾛﾙ Sp91-YKh1 [126.234.43.89]) [] 2022/05/12(木) 15:30:13.49 ID:TPnOtntRp オーバーフィッティングならいいのか？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/559
560: デフォルトの名無しさん (JP 0Hca-Ix6I [103.163.220.94]) [sage] 2022/05/12(木) 17:20:58.10 ID:l5soNYRaH たとえばオセロや囲碁などのボードゲームではビットボードが使われてると思うんですが、 学習をさせるときは配列にビットを展開しないといけないんでしょうか？ それともインプットをビットボードの数値にしてもうまく学習できますか？ 展開するとしたら結構な計算量とメモリ消費量になると思うのですが、現実どう処理されてるんでしょうか？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/560
561: デフォルトの名無しさん (ｱｳｱｳｳｰ Sac5-e+q+ [106.154.69.155]) [sage] 2022/05/12(木) 17:40:20.64 ID:ssfk6Zuqa bit単位で扱うことはないな。画像データのほうがはるかにメモリ食う 具体的にはゲーム処理は1マス1enum（内部的には4byteかな)でやるし、学習データは1マス1floatの割り当てでやる オセロなら8x8マスだからfloat[64] 用意して自駒あるとこ1、敵-1、何もなしzero、入力マスク用にbool[64]用意して駒おけるとこだけtrueにして lstmも何も使わない単純なPPOに突っ込むだけで一日で勝てないとこまでいくよ http://mevius.5ch.net/test/read.cgi/tech/1632587566/561
562: デフォルトの名無しさん (ﾜｯﾁｮｲ 0202-zDU0 [59.138.123.33]) [sage] 2022/05/12(木) 18:07:08.93 ID:XThBUtns0 配列のほとんどの部分が0なので 疎な配列、疎行列あたりのライブラリを使って メモリを節約する http://mevius.5ch.net/test/read.cgi/tech/1632587566/562
563: デフォルトの名無しさん (ﾃﾃﾝﾃﾝﾃﾝ MM82-xesJ [193.119.144.25]) [sage] 2022/05/12(木) 18:20:42.07 ID:y2m3n7NiM 適当なオープンソースのやつみたら分かるんじゃね？ http://mevius.5ch.net/test/read.cgi/tech/1632587566/563
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 439 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.010s