[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (949ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1: 2017/10/15(日)17:34 ID:RaMh0le2(1) AAS
比較的地味なボードゲーム専用のスレが欲しくて立ててみました。
前スレ
【オセロ,将棋】ボードゲーム【囲碁,War】
2chｽﾚ:gamedev
2: 535 2017/10/16(月)21:32 ID:nZcg7vL7(1/4) AAS
ここって書きこみないと落ちちゃうとかあるんでしたっけ？
とりあえず、スレたて乙です。
3(1): 535 2017/10/16(月)22:46 ID:nZcg7vL7(2/4) AAS
どこかにtiny-dnnのまとまったドキュメントないですかね〜
とりあえずvec_tというのが何者かわからないorz.
4: 2017/10/16(月)22:57 ID:hLbjq5wm(1/2) AAS
どもです。
強化学習ですが、まだまだ時間がかかりそうで、業を煮やして学習率あげたら、
バリューが発散してやり直し（汗
ちょっと工夫を加えて、強化学習を数回したら、MCTSで自己対戦して記譜作成。
記譜を見て学習の進捗を計りながら、過去に採取した記譜で軽く教師付き学習
させて、学習の方向性を補正しつつう、後半部分の精度を少しづつ上げて、強化
学習がはかどるようにしようとしてます。
というわけで、純粋な強化学習ではなくなってしまった。
5: 535 2017/10/16(月)23:09 ID:nZcg7vL7(3/4) AAS
名前はどうしましょうかね〜
新スレだし310,535を名乗るのもなんですね…
6: 2017/10/16(月)23:10 ID:hLbjq5wm(2/2) AAS
>>3
日本語紹介記事
https://qiita.com/nyanp/items/11c6bb6fb539486c5069
作者の実装ノート
https://github.com/tiny-dnn/tiny-dnn/wiki/%E5%AE%9F%E8%A3%85%E3%83%8E%E3%83%BC%E3%83%88
英語
https://github.com/tiny-dnn/tiny-dnn/wiki
http://tiny-dnn.readthedocs.io/en/latest/how_tos/How-Tos.html
こんなの見てました。
vec_tについては、３番目のwikiのData-Format
省6
7: 535 2017/10/16(月)23:18 ID:nZcg7vL7(4/4) AAS
おお、ありがとうございます。
読んでみます。
8: 535 2017/10/19(木)00:44 ID:NEwsyYTL(1/2) AAS
気が散ってほかのことをしてしまうorz.
先延ばし先延ばしにしてしまうorz.
9: 535 2017/10/19(木)00:44 ID:NEwsyYTL(2/2) AAS
IDがNEWSや！
10: 2017/10/19(木)15:52 ID:ETYZ9m/m(1) AAS
アルファ碁ZEROだそうな。
自己対局の強化学習のみだそうな。
レート５０００越えだそうな。
囲碁AIやらなくてよかった・・・
11: 535 2017/10/19(木)17:50 ID:9y30JekY(1) AAS
旧アルファ碁に100戦100勝て
宇宙やばいってレベルじゃねーぞ？
12: 2017/10/20(金)15:58 ID:AyXCD9Rq(1/2) AAS
掲示板情報を総合するとMCTSなんだけどRolloutを使っていないという事らしい。
現在出張中なので、論文ダウンロードを躊躇しているけど、読みたいなぁ。
自分のオセロでは、スピードを稼ぐためにRolloutにヒューリスティックスな次の１手
を使用しているけど、自己対戦見ていると序盤良い感じで来ていると、Rolloutが間違
えて、負け手順に入る事が多い。それで、Rolloutせずに（したふり）Valueの遡りだけ
でQ値を計算したらどうかと思っていたんだけど、そういう事なのかなぁ。Rolloutを
省略しちゃうと、ものすごいスピードアップするので、探索が深くなるんだよなぁ。
先にやっちゃえばよかった（汗
13: 535 2017/10/20(金)22:03 ID:NnxpZZEA(1) AAS
すいません、310じゃなくてもいいのでなんかコテつけてくれませんか？
どうせ2人しかいないからわかるっちゃわかるけどｗ
14: 310 2017/10/20(金)22:21 ID:AyXCD9Rq(2/2) AAS
あ、つけ忘れ失礼。
Rollout無し版を試してますが、何故か最近静まっていた終盤読み切りのエラーが（汗
撲滅していたはずなんですが・・・
15: 2017/10/24(火)00:38 ID:lvcSYEt0(1) AAS
Rollout無しのMCTSは圧倒的な探索深さを実現できるかわりに、今までRolloutで
修正かけていた評価値の誤りがダイレクトに出て、読み間違いは相変わらずです。
強化学習が進めば治るはずですが、SGDでは遅々として学習が進まないので、
optimizerをSMORMS3に戻して、一旦記譜学習を増やしてみました。やはり学習速度
が圧倒的に違います。そして、このやり方でも大丈夫っぽいです。
どうも遠回りしていたようです（汗
16: 535 2017/10/25(水)20:54 ID:atHU9A83(1) AAS
なんだろう、このtiny-dnnの得体のしれぬハードルの高さは…
パッと見、すごくよさげに見えるのに全然前に進めない。
なんだろう…なんだろう…
17(1): 535 2017/10/26(木)00:13 ID:vVm7O/8N(1/5) AAS
とりあえず、mnistのやつは正解をlabel_tで渡すみたいだけど
局面の勝率を正解にしたい場合はどうすればいいんだろう？
ラベルと勝率じゃデータ構造違うよね多分？
それとも同じなんだろうか…
18: 535 2017/10/26(木)00:16 ID:vVm7O/8N(2/5) AAS
内積とると考えれば勝率を一次元のベクタと見なせばつじつまが合うのか？
19: 2017/10/26(木)09:53 ID:43FvyXwK(1/2) AAS
>>17
mnistは、分類器（他クラス分類）なので、活性化関数はsoftmaxになり、教師データ
はlabel_tで与えます。別にvec_tでも良いですが、例えば３という答えに対して、
label_tは{3}なのに対し、vec_tは{0,0,0,1,0,0,0,0,0,0}などとなって冗長なので、label_tが
用意されているわけです。他にも、誤差の計算方法が違うなんてのもあります。
一方、ゲームの勝敗予想は２値分類問題なので、活性化関数はsigmoidで、教師
データはvec_tとして、勝利を{1}、敗北を{0}として与えて学習させます。
オセロには引き分けがあるので、引き分けは{0.5}としてみましたが、勝率５０％と引き
分けでは意味がまったく違うのが悩みの種です。２人ゼロ和完全情報ゲームでは
勝率５０％というのは理論上存在しないのですが、強化学習の途中などでは生じます
省4
20: 2017/10/26(木)09:55 ID:43FvyXwK(2/2) AAS
× 他クラス分類
○ 多クラス分類
ですね。IMEのアホたれ（汗
上下前次1-新書関写板覧索設栞歴
あと 929 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.289s*