[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
300: 535 2018/03/23(金)21:21 ID:Z4T42krD(2/2) AAS
そういやLeela Zeroも学習過程では一線うってたな。。。
逆にいい傾向なのか？？？
301: 310 2018/03/25(日)02:23 ID:Yig4cMbl(1) AAS
分岐をすべて記譜にリストアップするようにしてから、爆発的に記譜が増えてます。
２０００程度だったのが、１５０００超えました。
が、まだまだスカスカみたいです。
ここまでするんなら、真面目に自己対戦して遡りせずに、ランダム着手に対して
分岐をリストアップさせても一緒というか、早い気がしてきています（汗
302: 310 2018/03/31(土)01:38 ID:h3UgGfs1(1/2) AAS
ランダム着手も追加して記譜増殖中。ただいま３２０００超え。
もっとも、残り数手とかの記譜もあるけど（汗
ステージ分割しているので、記譜がなかなか生成されない２５〜３０手近辺で
非常に少ない教師データで何度も学習する事になり、そのあたりが極端な
過学習になってしまった。
解消方法をいくつか検討中です。
１）時間かかっても良いので、２５〜３０手の記譜ができるまで頑張る
２）前後の盤面を混ぜて、教師データを増やしてみる
３）ランダム強化学習してみる。
２）３）をやると、おそらく、平均化されて評価値がフラットになるが大小関係は
治ってくると思う。
というわけで、今夜は２）３）を試してみる予定。
303: 310 2018/03/31(土)01:43 ID:h3UgGfs1(2/2) AAS
あと、時々スコア指定（ヌルウィンドウサーチ）の記譜作成処理で
エラー（スコア間違い）が出る時がある。
運が悪い事にハンドリングミスその他で、記譜を残せていないので、
現象の特定ができていない。
頻度としては数日に１回くらい。
たぶん、全滅と直前のパスがらみだと思うんだけど。
304: 535 2018/03/31(土)23:42 ID:4ltMn3J2(1/2) AAS
Geforce GTX 1060を増設しました。
>>214をpytorchで学習してみます。
305: 535 2018/03/31(土)23:46 ID:4ltMn3J2(2/2) AAS
んーうごかん。
GPUありとなしでポリシーファイルに互換性がないんですかね？
もしかして。
初めからやり直すか…
306: 310 2018/04/01(日)01:07 ID:OBeH+1OH(1) AAS
おお。どんどん進んでますね。
こちらは、昨夜のバグの現象は特定しました。
スコアが６２や−６２で、mtd(f)の探索開始が６４や−６４の時に、
置換表に残った６４や−６４が悪さして、６４や−６４と誤答する模様。
とはいえ、どこを直すべきかはわかりません。探索開始が６４や−６４
の時に、６２や−６２にしてやる事で、姑息的に回避はできるので後回し。
あと、記譜作成に色々機能を加えていたら、どこかがおかしそうだという
不安な状態になってしまいまして。このまま記譜学習を進めて良いか自信
が無いので、今までのデータで安全な部分をテスト用に回して、新たに
記譜を作成開始。３４手目までは全探索しながら普通に遡れる感じです。
３３手目から先は探索時間がしんどいので、ひとしきり落ち着いてから、もう
一度、遡りチェックのプログラムをきちっと見直して、追加していこうかな
と思っています。この間に、強化学習混ぜて、過学習部分を解消して
いこうと思います。
307: 535 2018/04/01(日)12:43 ID:lACu3cfl(1) AAS
お、ちゃんと時間測ってないからあれだけど、気持ち速くなってる気がする。
ちゃんと時間測りたいなぁ。
308: 310 2018/04/01(日)13:49 ID:DAl+8Sdv(1) AAS
バグ問題は、結局姑息的手段では回避できず。
全滅がらみでほかのケースでも誤答するケースが発生しました。
元々FFO#59用にmin-Max探索に入れていた、全滅時の処理くらいしか
原因となりそうなものが思い当たらなかったので、とりあえずコメントアウト
して様子見です。全滅時の探索が速度低下しますが、仕方がありません。
309: 310 2018/04/02(月)20:15 ID:9LYme7cN(1) AAS
結局バグ問題は…迷宮入り臭いです。
記譜作成で負荷テスト並みに探索を繰り返すと、全滅絡まなくても間違うケースが
出てきました。再現性が無いのが辛いところ。
その昔悩んでいた時も、やっぱり置換表がらみの問題で迷宮入りでしたが、
今回も、ケチって置換表を極力クリアせずに使用していた事から、何らかの
矛盾が起きているようです。それを言っちゃうと、置換表付mtd(f)でｆ値を変え
ながら探索することも、またその時に作成された置換表を流用して記譜作成
兼ねた読み切り処理を速度アップすることも、怪しいという事になるわけで。
間違えてしまった事が判明した時点で、その探索は捨てるくらいしか対策が
無いという事になります。
ネットで調べたら、将棋AI界隈でも置換表の問題点を書いている人がいまして。
少なくとも深さがあっていない置換表データは使うべきではない模様。
今の調子だと一晩動かすと結構な頻度で朝見たら止まっているとい状態なので
せめて発生率を下げるべく、mtd(f)に入る前に置換表をクリアする事にしました。
なぜしなかったかというと、記譜データからスコアが確定している盤面を置換表に
入れて、それを見ながら既に読み切りしている盤面は飛ばす処理をしていたから
です。置換表をクリアして盤面再構築に時間がかかるためです。別途盤面キャッシュ
を持って、そちらは追記、置換表は毎回クリアという形に変更しました。
310(197): 535 2018/04/02(月)22:24 ID:3iK+AnRP(1) AAS
Leela ZeroがKGSでかなり強くなってる。
俺がパクったプログラムも学習し続けたらあれくらい強くなるんだろうか？
311: 535 2018/04/04(水)20:42 ID:Y0WMbzNW(1/2) AAS
え、ちょっとまってよ。
GPUありなしでポリシーファイルが違うってことは
成果物を配布しようとしたらGPU持ってる人しか遊べないってこと？
312: 535 2018/04/04(水)20:54 ID:Y0WMbzNW(2/2) AAS
しかもCUDAとかも一緒にインストールしてもらわないといけない？
ええぇ？
313: 310 2018/04/06(金)22:00 ID:952uhqxW(1) AAS
誤答問題は、置換表クリアで解消しました。
違う局面の探索で使用した置換表データは使いまわしてはいけないという事で。
なんか、結果的に、２年くらい前にも同じ事で騒いでいたような。
色々整ってきたので、あとはひたすら記譜作成しながら学習を回すだけになって
しまって、暇になってます。別PC買ってそっちで学習させながら、別の事をはじめ
ようかなぁと思い始めています。
314: 535 2018/04/07(土)20:43 ID:SqbCC315(1) AAS
うーん、つよくならないorz
学習は継続しつつ別のalpha zero プロジェクトも物色するか…
315: 535 2018/04/08(日)22:10 ID:ZB9Bj6DG(1/3) AAS
ん、なんかメモリリークあんのかな…
swigでC++から移植したクラスってデフォルトでガベージコレクトされないのかなぁ？
もしかして。
316: 535 2018/04/08(日)22:43 ID:ZB9Bj6DG(2/3) AAS
VMWareの設定がメモリ1GBになってた。
とりあえず8GBに増やしてみた。
317: 535 2018/04/08(日)22:53 ID:ZB9Bj6DG(3/3) AAS
お、メモリ増やして再起動かけたら結構いい感じで進みだした？
メモリ増やしたのと再起動かけたのどっちが効いたのかわからんが。
318: 535 2018/04/09(月)20:58 ID:500BArdX(1) AAS
くそ〜ベストポリシー更新が全く来ないorz
もう何回目だ？TT
319: 535 2018/04/11(水)20:46 ID:uiOmKVU+(1/2) AAS
お、メモリ増やしたせいか連続運転が安定している。
しかしベストポリシー更新は相変わらずなしorz
320: 535 2018/04/11(水)23:07 ID:uiOmKVU+(2/2) AAS
もしかして、ネットワークの初期値が糞すぎるんだろうか。
でも確かめようがないorz
321: 535 2018/04/15(日)20:07 ID:8sCJrZFg(1/2) AAS
ベストポリシー更新まじコネ〜
でも他のプロジェクトに浮気しようにもなかなか手ごろなのがないんだよなぁ
322: 535 2018/04/15(日)20:21 ID:8sCJrZFg(2/2) AAS
いっそ実績のあるLeelaZeroを本気でパクりに行ってみるべきか…
でも多分、難解なんだろうな〜
323: 535 2018/04/16(月)20:30 ID:6KBtspgu(1/2) AAS
あんまりおかしいんでソースをオリジナルとdiffとったら学習係数が1/100になってたんだがｗｗｗ
え〜何時いじったかな全く記憶にないｗｗｗ
これで学習が進んでくれれば！！
324: 535 2018/04/16(月)23:37 ID:6KBtspgu(2/2) AAS
loss も entropyも減ってきてる！
これでベストポリシー更新が来れば！！
325: 535 2018/04/17(火)22:16 ID:E16XJnGD(1/2) AAS
ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!
ベストポリシー更新きました！
次の切りのいいところで止めてプレーしてみよう
326: 535 2018/04/17(火)22:34 ID:E16XJnGD(2/2) AAS
それはそうとzen+の発売日が迫ってますね。
金がないから買えないけど情報だけは追っかけてみます。
爆速だといいな。
327: 535 2018/04/18(水)23:48 ID:7NtNWbU1(1) AAS
あとちょっとだけ待とう
終局までの手数も順調に減ってきてるから意味のある手を打ってるんだろう多分
ワクワク
328: 535 2018/04/19(木)20:50 ID:lyvIQrMy(1/2) AAS
打ってみました。
序盤、中盤は棋理の芽生えみたいなものが感じられました。
伸ばせそうなところを伸ばすとか伸ばされそうなところを止めに来るとか
でもわざと負けようとしても５連までは積極的に作りに来るのにそこからパタッと伸ばすのをやめて７連を作ってくれませんｗ
なぜｗ？
でもまあ、希望は感じられました。
もうすこし学習してみます。
329: 535 2018/04/19(木)23:51 ID:lyvIQrMy(2/2) AAS
zen+なかなかよさげですね。
前世代と比べて一割前後性能アップ？
上下前次1-新書関写板覧索設栞歴
あと 673 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.030s