[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
621: 310 2019/01/23(水)01:56 ID:QHWWUXAJ(1/2) AAS
置換表に使ってるので要素数は現在残り２８手で１００万超える事もあります（汗
まあ、βカットの具合でだいぶ変わるので、学習進むと減るんですが。
最低でも残り３０手まで行くつもりなので、１０００万くらいは想定したいです。
次の一手ソート用の配列は、Array型にしています。３２個確保すれば足ります。
こちらも比較したところ、明確に速度差がありました。この辺から、領域をチマチマ
確保されるオーバーヘッドが気になりだした次第です。
で、赤黒木ですが、実装が悪いのだと思いますが、現時点で２分木と比較して
およそ３倍時間がかかります。シングル動作でも同じくらいの差になるので、
排他待ちではなく、木のつなぎ替え処理の重さが原因かなと。置換表は追加が
の比率が大きいので、ポインタたどるロスは優位ではない感じ。
というわけで、赤黒木はちょっと放置。
というか、二分木もシングル動作は１０倍くらい速い感じなので、今一度シングル
探索の並列化を試そうと思っています。
622: 310 2019/01/23(水)02:07 ID:QHWWUXAJ(2/2) AAS
>>618
min-Max前提だと、探索値を求める際には勝率（点数）が必須で、
次の１手評価関数はオーダリングや前方枝刈向きではないですか？
探索深さ１なら次の１手で行けますが。
初代アルファ碁も、両方組み合わせていますが、次の１手評価関数で
手の優先順位をつける事で読み深さを実現した変則mctsで、最終的には
評価値で判断していますよね。
623: 535 2019/01/23(水)20:43 ID:B65SvCza(1/3) AAS
ふーむ、勝率のほうが応用が利くってことですかね？
もうしばらく勝率で学習させてみます。
624: 535 2019/01/23(水)21:07 ID:B65SvCza(2/3) AAS
ついネットワークを大きくしたくなっちゃうけど。
本当は小さいネットワークでエポック数を稼いだほうがいいのかもしれない。
625: 535 2019/01/23(水)21:28 ID:B65SvCza(3/3) AAS
そういえば、対称局面も学習データとして使ったほうがいいんでしたっけ？
626: 310 2019/01/24(木)01:32 ID:cGqmeFv+(1/3) AAS
囲連星は初期配置ないんでしょ？
だったら対象局面ありの方が良いと思う。
オセロは悩み中。
初手をF5固定にした時に、本当に対称局面が出てくるのかわからない。
対称局面が同じ重要性で生じないのであれば、評価値を希釈しちゃうだけ。
学習の時間も単純に倍々で増えるので、今はやっていない。
強いて言うなら、F5F6E6の次がF4とD6で斜め対称になるので、ここだけは
記譜作成時にはF4固定にして、D6の対称局面を作っている。
627: 310 2019/01/24(木)01:49 ID:cGqmeFv+(2/3) AAS
置換表自作の件、目的を見失っている（汗
一旦リセットして、最初からやり直して、当初の目的に戻ろうと思うorz
628: 578 2019/01/24(木)01:53 ID:mzMMzuaC(1/2) AAS
私は教師データの数が8倍になるのは大きいと思って対称局面も入れて学習させてます
とくにDeep Learningさせてると（ネットワークの規模にもよりますが）だいぶ過学習しなくなります
もっとも、Deep Learningするんだったら対称性を考慮したネットワークにしたほうがいいのかもしれないですが・・・
629: 310 2019/01/24(木)02:08 ID:cGqmeFv+(3/3) AAS
着手できる場所の自由度が高いゲームは回転させるべきだと思う。
オセロは着手可能場所が限られるので、現れない局面が結構ありそう。
ちなみに、オセロは８倍じゃなくて４倍。初期配置が４対称だから。
囲連星は初手天元固定なのかな？
630: 578 2019/01/24(木)07:09 ID:mzMMzuaC(2/2) AAS
>オセロは８倍じゃなくて４倍
たしかに棋譜で考えると4対称しか無いですね
今のところ、学習させるときには現局面しか渡してないので、
90度回転で一致する局面が存在するかもしれないから8倍で良いはず…
631: 535 2019/01/24(木)22:03 ID:gSjgdU9w(1/2) AAS
うーん。今のやり方だとLV0やLV1とはいい勝負になるけどLV3には一生勝てないかも？
出来れば自己対戦による強化学習とか取り入れたいな〜
対称局面もやってみますね。
632: 535 2019/01/24(木)22:45 ID:gSjgdU9w(2/2) AAS
なんか長時間計算回してると画面が真っ暗になってマウスやキーボード押しても復帰しないことがあるんだが？
スリープは解除してるはずなんだけどなんなんだろう？
633: 535 2019/01/25(金)23:18 ID:gNQn5rdl(1) AAS
LV0ってやっぱ棋力低いな。
そんなLV0といい勝負の俺のAIもあれだけど。
やればやるほどLV3の完成度の高さが際立つ。
634: 310 2019/01/26(土)17:00 ID:VyVaK4H+(1) AAS
自作置換表ですが、大体のところがまとまりました。
結局のところ、unordered_mapを作っていた形になります（汗
当初は領域の追加について、データ部分をまとめて追加する方向で改造し、
ハッシュ配列については２２ビット固定で、高速化をしました。で、ハッシュ配列が
２２ビット固定は芸がないと、二分木・赤黒木などを試しましたが、速度大幅低下。
要するに、unordered_mapにmapを組み合わせて、ハッシュのメリットを相殺して
しまっていたという事で。
最終的に、ハッシュ配列の追加方法をようやく思いつき、組んでみたところ、それが
そのままunordered_mapのrehashだと気が付きました（汗。その後、max_load_factor
などを追加して、unordered_mapと条件を揃えて速度比較となりました。
iteratorと削除が無い分だと思いますが、unordered_map、concurrent_unordered_map
に対して、それぞれシングル版、concurrent版とも若干高速になりました。
新たな課題は…stlも自作版も、どちらも並列に動かしたconcurrent版の方が遅いと
言う事です。もともとそういうものなのか…テスト方法が並列向けじゃないのか。
635: 535 2019/01/26(土)17:38 ID:VGsbBdjp(1/13) AAS
8対称はメモリがやばいので4対称にします。
4対称で16GB位食ってる。
636: 535 2019/01/26(土)17:54 ID:VGsbBdjp(2/13) AAS
思い切っていいPC買ったけどまだ足りないとかorzorzorz
ケチらず64GB積むべきだったか？
637: 535 2019/01/26(土)18:59 ID:VGsbBdjp(3/13) AAS
１エポック4539秒
これは厳しいorzorzorz
GPUが使えれば…
638: 535 2019/01/26(土)19:45 ID:VGsbBdjp(4/13) AAS
ん、1エポック目だけど損失がかなり少ない。。
対称局面を入力とすることで特徴量がよりはっきりしたということだろうか？
639: 535 2019/01/26(土)19:46 ID:VGsbBdjp(5/13) AAS
ん、動きが断然よくなってる？
まだわからんが。
640: 535 2019/01/26(土)19:53 ID:VGsbBdjp(6/13) AAS
対称局面学習以前はどちらかというとランダムに近かったが
対称局面学習以後はどちらかというと知性があるっぽく見える。
まだわからんが。
641: 535 2019/01/26(土)20:02 ID:VGsbBdjp(7/13) AAS
これでエポックが進めばとんでもなく強くなる？
まだわからんが。
642: 535 2019/01/26(土)20:15 ID:VGsbBdjp(8/13) AAS
マシンパワーが欲しい！
Googleに匹敵するマシンパワーが！
643: 535 2019/01/26(土)20:40 ID:VGsbBdjp(9/13) AAS
まだLV3には遠く及ばないな。
でも希望が出てきた。
644: 535 2019/01/26(土)21:34 ID:VGsbBdjp(10/13) AAS
学習用、棋譜採取用、対戦統計用、開発用で４台マシンほしいｗ
645: 535 2019/01/26(土)22:03 ID:VGsbBdjp(11/13) AAS
やっぱ思考時間短いのはいいな。
モンテカルロは強いけど思考時間長すぎたからな。
646: 535 2019/01/26(土)23:04 ID:VGsbBdjp(12/13) AAS
棋力が低すぎてすさまじい泥仕合になるの切ないorz
647: 535 2019/01/26(土)23:32 ID:VGsbBdjp(13/13) AAS
メモリがもっとあれば異なるネットワークを並列に学習とかもできたかもなぁ
まさか32GBで足りないとは…
648: 535 2019/01/27(日)14:58 ID:RY/5cpPz(1/9) AAS
DNNの評価値とMM法の評価値の和で最終評価値を算出するようにしてみました。
多分DNNのみより強くなってます。
649: 535 2019/01/27(日)15:49 ID:RY/5cpPz(2/9) AAS
黒番で軽く動かしてみました。
10局目
黒(airandom.dll)の勝利回数: 8
白(ai-lv1.dll)の勝利回数: 2
まずまずの結果かな。
ちなみに白番はうまく動いてなくて１の１とか打っちゃうので途中で中断しました。
650: 535 2019/01/27(日)16:41 ID:RY/5cpPz(3/9) AAS
うお、猛烈に追い上げられてるorz
悪くない手ごたえがあったと思いましたが…
25局目
黒(airandom.dll)の勝利回数: 15
白(ai-lv1.dll)の勝利回数: 10
上下前次1-新書関写板覧索設栞歴
あと 352 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.013s