【オセロ,将棋】ボードゲーム Part3【囲碁,War】 (636ﾚｽ)
上下前次1-新
116: 535 2020/02/18(火)21:44 ID:kv2P7/8Y(2/3) AAS
マシンパワー欲しいすな。
3990xでも足りないかも。
アルゴリズム見直せと言われそうだが。
117: 535 2020/02/18(火)22:28 ID:kv2P7/8Y(3/3) AAS
まーでも310さんも言ってるけど計算にマシン取られるとヒマですね。
AWSとか使うのも面白いかもしれないけどいかんせん金が…
118: 535 2020/02/20(木)18:12 ID:YadOsXz6(1) AAS
夜中動かすとファンがうるさくてねれないorz
やっぱaws…
でも金が…
119: 535 2020/02/20(木)20:15 ID:BvOV7XJR(1/2) AAS
でもまあ、コロナでいつポックリいくともわからないならいっそ3990x買っちゃうってのも考えようによってはなくなないな。
120: 310 2020/02/20(木)22:03 ID:KuvbYeZk(1) AAS
たぶん感染経路不明な感染者が１０００人超えたらテレビも飽きてきて
めっきり話題にならなくると思うなｗ
121: 535 2020/02/20(木)22:44 ID:BvOV7XJR(2/2) AAS
70499種類の盤面のモンテカルロ勝率スコアデータが取れました。
これをもとにDNNをトレーニングしてみます。
122: 535 2020/02/21(金)21:02 ID:/4d3LiPl(1/2) AAS
やっぱ素のモンテカルロに勝てない！！！
どうしてなんだ…
123: 535 2020/02/21(金)22:56 ID:/4d3LiPl(2/2) AAS
単に白番有利説が急浮上ｗｗｗ
124: 535 2020/02/22(土)00:47 ID:j5uEDLd9(1/6) AAS
いや、ちがうっぽい。
うーん。
125: 535 2020/02/22(土)17:03 ID:j5uEDLd9(2/6) AAS
キター！素のモンテカルロに勝ち越しました！
黒番 31勝20敗
白番 32勝19敗
126: 535 2020/02/22(土)20:31 ID:j5uEDLd9(3/6) AAS
モンテカルロが間違える局面で間違いを訂正してそれをDNNに学習させる方法ないかなぁ
127(2): 310 2020/02/22(土)21:32 ID:wHsEFeMN(1) AAS
間違える局面が特定できているて、間違えた手を訂正できるんなら、
訂正後から対戦再開させて、その棋譜で局面DB更新して、学習するとか。
特定できていなくても、基本強化学習は、対戦→DB更新＆学習の
繰り返しで、徐々に間違いを訂正していく方法。もうちょっと工夫する
ならε-Greedyなどの手法で既存の棋譜の途中で無理やり別の手に
分岐させていく。その手が悪くても、「悪い手である」という認識を学習
させる事ができる。
省2
128: 535 2020/02/22(土)21:53 ID:j5uEDLd9(4/6) AAS
>>127
特定も訂正も現状できてないですね。
それよりひどいバグを発見して>>115で取ったデータが全て台無しになる可能性が…
129: 535 2020/02/22(土)22:00 ID:j5uEDLd9(5/6) AAS
あかん、なんか全然おかしいorz
ちゃんと見直さないと…
130: 535 2020/02/22(土)22:22 ID:j5uEDLd9(6/6) AAS
データ取りからやり直しますorzorzorz
131(1): 310 2020/02/23(日)00:56 ID:9FygPBnT(1/4) AAS
間違い探しを続けるうちに、何故Zebraの評価値の方がまともに見えるか問題に
突き当りました。で、評価関数を手数毎に６０種類に分割している事で、学習データ
が不足しているとか、スムージングしていないために、２手前の自分の番の盤面との
差分が取れないとかの問題があるのかなぁと思い立ちまして…。
また、４対称採用した事で学習時間も４倍になってしまいまして…。
思い切って、評価関数を１つにまとめてみたらどうだろうと思い立って、専用の学習
プロジェクトを作ってやってみました。通常数百回学習しないとまともな学習ができ
省9
132: 310 2020/02/23(日)01:08 ID:9FygPBnT(2/4) AAS
>>127に捕捉しとくと、
自分はGreedyな手法の精度をあげるために、浅い探索（９手）と組み合わせて、
評価値が少しだけ悪い手とか、Book登録ないのに評価値が良いとか、いくつかの
基準の訂正ロジックを作って、明らかに悪い手を排除したGreedy法をとって、
既存の棋譜に対して順次分岐を生成していく事で、Bookを埋めて行っています。
分岐は１３手読みで作成していますが、この分岐も間違いがそれなりにあるため、
間違いを積み上げているのではないかという懸念もあります（汗
省7
133: 310 2020/02/23(日)03:01 ID:9FygPBnT(3/4) AAS
げげ。>>131の奴、本番に入れて学習させたらうまく動かん…。
原因箇所は特定できたけど、そもそもBook分だけで学習していて、後半の棋譜から
教師データ作ってなかったので、件数が大幅に違う。後ろ１５手分が抜けている。
が、これが入ると学習の途中で無限ループに入ってしまう。
何かのオーバフローなんだと思うけど、今は原因不明orz
134: 310 2020/02/23(日)10:00 ID:9FygPBnT(4/4) AAS
たぶんなおった。
学習の進行具合インジケータの＊印の数を作るところでオーバーフローして
延々と＊を表示し続けてるだけだったｗ
こういうところで適当にint使っているのがいかん。
と、怪しそうなところをsize_tに直したら、整合性が取れなくなってワーニングの嵐ｗ
適当にsize_tにすればよいというものでもなかったｗ
135: 535 2020/02/23(日)22:36 ID:xJvwRHu1(1) AAS
オーバーフローが嫌だからついlong longを使ってしまうｗ
メモリ余計に食うけど。
136: 535 2020/02/24(月)18:53 ID:S84dSY4F(1) AAS
タイルゲーム、完全解析した後でもそれなりに楽しめる不思議。自力では勝てないからな。
そういやconnect4より複雑で完全解析されててネットで遊べるゲームってなにかあるのかな？
137: 535 2020/02/25(火)20:37 ID:10rOW9ls(1) AAS
データ取りなおしたので再度DNN学習させてみます。
ついでにネットワーク少し大きくしてみます。
138: 535 2020/02/26(水)20:24 ID:LbNvrAvP(1/5) AAS
なんかDNNほぼ最悪の手を打つんだが…
真逆の学習させちまったか？
139: 535 2020/02/26(水)20:40 ID:LbNvrAvP(2/5) AAS
試しに評価値に*-1してみたがやっぱり悪い手を打つ。
真逆ってわけでもないのか？
わけわからん
140: 535 2020/02/26(水)20:50 ID:LbNvrAvP(3/5) AAS
モンテカルロ木探索の部分が間違ってたっぽい
141: 535 2020/02/26(水)21:22 ID:LbNvrAvP(4/5) AAS
うーん、なんかアルファ碁Leeみたいに、数手前の手順を学習データとして食わせるといいかもなぁ。
石がぶつかってる時の判断がちょっとおかしいんだよなぁ
142: 535 2020/02/26(水)21:35 ID:LbNvrAvP(5/5) AAS
もうヒューリスティックもモリモリ入れちゃおうかなぁ
143: 535 2020/02/27(木)19:12 ID:7f4H7cqb(1/2) AAS
お、微妙に勝ち越している。
でも微妙すぎｗ
144: 535 2020/02/27(木)21:11 ID:7f4H7cqb(2/2) AAS
先制攻撃を仕掛ける体制が整っているかどうかの判定が今後の課題ですね。
145: 535 2020/03/01(日)21:57 ID:X+Ti9n7n(1) AAS
先制攻撃を仕掛けた時に反撃で逆に取られる確率とか学習させたら駄目かなぁ？
146: 535 2020/03/02(月)06:27 ID:Td8MIT1I(1) AAS
ある局面に対し、それぞれの点が黒の地になる確率のベクタを返すようにDNNを学習したらどうだろう？
147: 535 2020/03/03(火)21:11 ID:PL4UDoSq(1) AAS
前回はスコア差を評価値に学習させましたが、今回は勝率で学習させてみます。
結局セオリー通りがいいのかもしれないので。
ホントはスコア最大化はぜひともやりたいんだけど。
148: 535 2020/03/04(水)20:23 ID:Q7ItuMwb(1/7) AAS
勝率で学習させたら黒番は勝ち越してますが、白番は負け越してますね。
白番でも勝てると思いましたが。
149: 535 2020/03/04(水)20:44 ID:Q7ItuMwb(2/7) AAS
うお、バグ発見ｗ
DNNが全く働いてなかったｗｗ
黒番で勝ち越したのはたまたまやなこれは。
150: 535 2020/03/04(水)21:10 ID:Q7ItuMwb(3/7) AAS
うーん、石をくっつけて打つなぁ
もっとばらけさせたほうがいいと思うんだけど。
151: 535 2020/03/04(水)21:14 ID:Q7ItuMwb(4/7) AAS
うーん、石がくっついているか離れているか標準偏差のようなものを出して学習パラメータに渡すとか
152: 535 2020/03/04(水)21:17 ID:Q7ItuMwb(5/7) AAS
ホントはあんま手動で特徴量出そうとするのよくないアイディアなんだろうけど。
153: 535 2020/03/04(水)21:43 ID:Q7ItuMwb(6/7) AAS
結局モンテカルロの勝率データだけだとだめっぽくて、いろんな戦略の中からより良いものを探すようにしたいなぁ
154: 535 2020/03/04(水)22:34 ID:Q7ItuMwb(7/7) AAS
あれ、黒番、白番ともダブルスコアで勝ち越してる？？
まだ対局数少ないからあれだけど。
155: 310 2020/03/04(水)22:39 ID:XCbeW9Ri(1) AAS
自分は、最近、学習効率アップさせようと入れていたヒューリスティックなロジックは
見つけ次第外す方向だったりします。
棋譜作成の元ネタだけは、結構たくさん手動で追加していますが、見つけ次第追加
みたいなやり方で、偏りが出そうな気がするのと、手動追加だと入力ミスも結構あって
面倒なので、どこかで後続棋譜が少ない手順を順次自動で追加していくようにしちゃ
おうかなと思ったりしています。ただ、本当に見てるだけになっちゃうのがちょっと嫌。
そんな事より、棋譜作成のペースが速すぎて、逆順での読み切り（スコア確定）が
省1
156: 535 2020/03/05(木)20:28 ID:P4JeNRVF(1/3) AAS
黒番 188勝 48敗
白番 176勝 55敗
めっちゃ勝ってる！！
157: 535 2020/03/05(木)20:45 ID:P4JeNRVF(2/3) AAS
結局ポスグレ全く使ってないというｗ
ま、当面ポスグレは保留かなぁ
158: 535 2020/03/05(木)21:05 ID:P4JeNRVF(3/3) AAS
とりあえず、この新しいAIで勝率データ取りなおして更に学習させるスパイラルへもっていくか。
159: 535 2020/03/06(金)20:19 ID:1GJjUnMY(1) AAS
うお、人間(俺)に勝った!
まぐれっぽいけど
160: 310 2020/03/06(金)21:29 ID:76Zol1eh(1/3) AAS
小人閑居して不善をなす…
評価関数の学習周りをいじっていたら、学習エラーが大きく（４〜５倍）なってしまった。
オプティマイザーをAdamにしてみたのが悪かったのか（バグ？）、それとも他にいじった
ところが悪かったのか。オプティマイザーを戻して、追加学習してみたけど、全然もとに
戻らない。
と言いながら、色々と溜まっていた懸案も機能追加してしまった。
結局、どうにも直らないのでウェイトを一旦クリアしてRMSpropで再学習してる最中です。
省1
161: 310 2020/03/06(金)21:39 ID:76Zol1eh(2/3) AAS
行列パッケージEigenにユーザ拡張のサポート無し機能がいくつか追加されていて、
その中にTensorクラスがある事に気づいた。
速度は期待できないけど、もう一度DCNNやってみようかなぁ。
つか、もう一台PCがあれば、棋譜が既にあるので、テストできるんだよなぁ。
162: 310 2020/03/06(金)22:53 ID:76Zol1eh(3/3) AAS
RMSpropで一から学習しなおしで、もうすぐ２０エポックだけど、順調な感じ。
前回同様２０回＋αも回せば結構よいところに行きそうな感じ。
おかしかった時は、もともとの場所から離れて、変な局所解にトラップされていた
ような感じになっていたんだよなぁ。現状のAdamのコードにバグがあるのか調べ
たいけど、もともと参考にしたサイトが見つからない。今見つかるやつはChainerの
類の疑似コードらしく、ちょっとやそっとでは解読できないレベルの記号の羅列orz
163: 535 2020/03/07(土)01:06 ID:NIcvsU6/(1/3) AAS
モンテカルロ＋ヒューリスティックAIにも勝利！！
いい感じだ。
164: 535 2020/03/07(土)21:53 ID:NIcvsU6/(2/3) AAS
あーもう、計算時間かかりすぎ！
あと3〜4日は計算回さないとデータが集まらない。
こんなときスレッドリッパー3990xがあれば…
165: 535 2020/03/07(土)22:30 ID:NIcvsU6/(3/3) AAS
ぶっちゃけ1週間かかる計算が1日で終わるとしたら3990x買うのもありなんじゃないか…？？？
金がないけど。
166: 310 2020/03/07(土)22:53 ID:6tZRBA6n(1) AAS
まあまあ。
自分は棋譜作成開始して、既に数年経ってる気がする（汗
途中データ飛んだりしているから、実際はもっと長い。
だんだんコツがわかって収集速度は加速的に高速化してきているけど、
今度はメモリー溢れが恐怖。
167: 535 2020/03/10(火)21:38 ID:IkE5Ol6x(1) AAS
データもぼちぼち溜まったしDNN学習に移ります。
168: 310 2020/03/11(水)19:25 ID:N0CjcdIm(1) AAS
Eigen UnsupportedのTensorクラスを見つけて、またぞろDCNNに興味が沸いて来ま
した。で、思い出しがてらウェブを眺めていました。前回断念したのは畳み込み層の
計算を行列で行うためのim2colのロジックを高速に行う方法が見つからなかったから
だと思い出しました（汗
しかし、気が付いてしまいました。所詮８×８のマスの定型変換で、汎用性いらないので
６４ビットのローテーションとマスク値とのandというビット演算で、前処理ができてしまい
ます。そのあとで行列に変換すれば良いだけの事でした。つまりim2col関数はいらん。
省2
169: 535 2020/03/11(水)20:59 ID:kvcp7+Sq(1/5) AAS
DNN学習、損失もいい感じで減ってきました。
素のモンテカルロとの対戦に移ります。
170: 535 2020/03/11(水)21:02 ID:kvcp7+Sq(2/5) AAS
実を言えば私は畳み込みはやってないんですな。
全結合でやってます。
171: 535 2020/03/11(水)21:13 ID:kvcp7+Sq(3/5) AAS
お、
黒番 7勝2敗
白番 9勝0敗
これは期待が高まる！！！
172: 535 2020/03/11(水)22:57 ID:kvcp7+Sq(4/5) AAS
黒番 22勝3敗
白番 20勝5敗
いいね〜いいね〜
173: 535 2020/03/11(水)23:19 ID:kvcp7+Sq(5/5) AAS
そろそろソースコードのバージョン管理とかやったほうがいいのかなぁ
GitHubとか
174: 310 2020/03/12(木)00:31 ID:CNvjXxHZ(1/2) AAS
GitHubとかよーわからんのだけど、コメント適当だったり、変数や関数名の英語が
変だったりするソース公開する度胸ないのを言い訳に、調べようとしていない（汗
175: 2020/03/12(木)00:34 ID:TwK5c7NK(1) AAS
プライベートプロジェクトにすればいい。昔はパブリックだけプロジェクト数無制限だったけど今はプライベートも無制限。
176: 310 2020/03/12(木)00:39 ID:CNvjXxHZ(2/2) AAS
情報ありがとうございます。
ちと調べてみます。
前みたいにソースもデータも丸ごと飛んだら困るので。
177: 2020/03/12(木)10:02 ID:c8m7GwVr(1) AAS
GitHubの前にGitを使おう
使えるようになってからでいいよ、GitHubは
178: 535 2020/03/12(木)19:58 ID:so1xRnaL(1) AAS
ありゃ、
黒番111勝 29敗
白番105勝 33敗
おもったほどじゃなかったorz
179: 535 2020/03/13(金)22:42 ID:vmr0Tb8m(1/2) AAS
業を煮やしてヒューリスティックを実装した。
さてどうなるか。
180: 535 2020/03/13(金)23:28 ID:vmr0Tb8m(2/2) AAS
ちなみにヒューリスティックの内容は石がぶつかってないときは相手の石からも自分の石からも一間以上離して打つというもの。
181: 535 2020/03/14(土)18:49 ID:z7EfFQTc(1/2) AAS
くそーうまく行かねー
182: 535 2020/03/14(土)23:30 ID:z7EfFQTc(2/2) AAS
あーなんか気が抜けちゃったな
次のアイディアもないし
183: 310 2020/03/16(月)00:36 ID:FpZgJFeI(1) AAS
しばらくは棋譜の遡りを優先しようと思っていたのですが、やっぱり暇ができると
どうしても何かやりたくなってしまい、結局序盤中盤の貪欲法絡みのブラッシュアップ
をしてしまい、またまた遡り対象の棋譜を増殖させています（汗。
DLやろうか、将棋AIの勉強しようかと思い立ち、将棋AIの本などを買い込んでつらつら
眺めていたら、実現確率探索なるものを見つけてしまいました。遷移確率は評価値の
Softmaxで作れる気がしています。現在、前方の打ち切りはProbCutでやっていますが、
途中の１つの盤面の評価値が酷い状態だと、その時点で問答無用でカット対象となって
省9
184: 535 2020/03/17(火)21:33 ID:7xvLqO5q(1/3) AAS
DNN評価値の上位7手を初手から全展開するというのをやろうとしたのですが、意外とDNNの計算が重たいですね。
すぐにメモリ溢れるだろうとみていたのですが、牛歩のような計算の進み具合で、溢れるまでかなり時間かかりそうです。
185: 535 2020/03/17(火)22:41 ID:7xvLqO5q(2/3) AAS
60万局面展開するのに33分かかる。
遅い。
186: 535 2020/03/17(火)22:44 ID:7xvLqO5q(3/3) AAS
DNN使わないと100万局面展開するのに4秒ｗｗｗ
うーむ
187: 310 2020/03/18(水)00:47 ID:Wk4mfxEa(1/3) AAS
結局、実現確率探索に取り掛かってしまいました（汗
新規ソリューション作ってコピペ始めたところで、いずれ評価関数を整数化したかった
事を思い出して、あちこち修正開始となりました。
一応、普通のDepthバージョンと同じ深さになるように調整して、速度比較してみるつもり。
188: 535 2020/03/18(水)20:17 ID:4pnoWutQ(1) AAS
DNNの評価値上位7手を全展開してポスグレに詰めるのを実行に移すべきかどうか迷ってる。
一応そのつもりで８TBのHDDもポスグレも用意したんだけど、あんまりいいアイディアに思えなくなってきたというか。
189: 310 2020/03/18(水)23:45 ID:Wk4mfxEa(2/3) AAS
実現確率探索の中盤探索、プロトタイプのαβ版を作って癖を見ています。
実現確率は、評価値のSoftmaxで各要素を足して１．０になるように正規化するより、
最大値が１．０になるようにした方が使いやすいです。というのも、最大値をひたすら
追った枝の終了条件が綺麗に決まって最大深さを指定できるようになるからです。
１．０そのままだと終わらないので、例えば０．５にしておくと、深さｎにしたい時は１÷２＾ｎ
が閾値になります。０．１の時は１÷１０＾ｎです。まあ、なんでもよいという事です。
後は各要素の差のつき具合を決める定数を調整すると、評価値が悪い手について、
省11
190: 310 2020/03/18(水)23:56 ID:Wk4mfxEa(3/3) AAS
あと、裏で棋譜作成進行中ですが、評価関数の学習時に、既存データに対する
エラーが増加を始めて、過学習の傾向を示しているのですが、例えばFFOの盤面
のように教師データ中に現れない盤面に対するエラーは減少しています。
状況的には、極端な石差がついている盤面の評価値が、石差ほどの評価値になって
おらず、じわじわと汎化が進んでいる一方、±０近傍の盤面は既に多いため、過学習
気味になっているのかなぁと推測しています。
とはいえ、非常に気持ち悪いです。
省3
191: 310 2020/03/19(木)23:17 ID:opMYHtHc(1) AAS
実現確率探索の中盤探索ができました。置換表と並列処理のところまでです。
反復深化→読み切り処理までです。置換表というか、オーダリング処理を結構修正。
反復深化まではそこそこ機能していますが、置換表経由で読み切り処理の高速化が
性能が出ません。置換表経由で、中盤探索の結果を用いて終盤探索のオーダリング
をするところで、置換表データの不足があったり、オーダリングの間違いが生じて、
無駄な探索をしているように思います。
とすると、これは読み切り処理を前提とすると結構致命的な問題な気がします。
省7
192: 535 2020/03/20(金)23:24 ID:7lhYYUd2(1) AAS
DNNの上位7手を幅優先に展開していき200万局面を上限にストップ
展開したものをminmaxで評価値を再計算。
その結果をDNNに学習させようとしています。
ポスグレの出番はいまのところないｗ
193: 310 2020/03/21(土)02:31 ID:XYOBIhf/(1) AAS
実現確率探索で、探索幅広げる方向の反復を試してみましたが効果はあまりなし。
単体で使用するとかなり早いのですが、置換表使った探索との相性がいまいち。
とりあえずSolverまで作って速度計測していますが、既存の反復深化より遅く、反復
深化無しよりは若干早いという感じで、単体の速度を利用して幅を思いっきり広げて
みましたが、こちらは逆に遅くなるという体たらく。
置換表周りでどこか間違いがあるのかなぁという気もしていますが、今のところ不明。
Solver周りでの活用は一旦置いといて、自己対局で使ってみる事にします。
194: 535 2020/03/21(土)17:30 ID:cG9Ai74P(1/3) AAS
メモリ欲しい…
256GBくらい
195: 535 2020/03/21(土)18:19 ID:cG9Ai74P(2/3) AAS
えー駄目だ負けるorz orz orz
なんで駄目なの？？？
196: 535 2020/03/21(土)18:23 ID:cG9Ai74P(3/3) AAS
今回のはかなり期待してたのにorz orz orz
上下前次1-新書関写板覧索設栞歴
あと 440 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.026s