[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
297: 535 [sage] 2018/03/18(日) 22:34:31.76 ID:tUeDVO3T(1) AAS
結果が出るまで時間がかかり過ぎるなぁ。
もうちょっと様子見るけど。。。
やっぱマルチスレッド化された別のalpha zeroプロジェクト探そうかな…
298: 535 [sage] 2018/03/20(火) 21:45:14.39 ID:/Ra5toxr(1) AAS
駄目だぁ、強くなる気配がないorz
別のalpha zero プロジェクト本気で探すか…
ここまで来てもったいない気もするけど…
299: 535 [sage] 2018/03/23(金) 21:13:02.23 ID:Z4T42krD(1/2) AAS
なんかバグ直して再学習したら、ランダムに打ったほうがマシ、くらいに変な手（１の１とか）打つんだが？
もう嫌になっちゃう。
300: 535 [sage] 2018/03/23(金) 21:21:30.45 ID:Z4T42krD(2/2) AAS
そういやLeela Zeroも学習過程では一線うってたな。。。
逆にいい傾向なのか？？？
301: 310 [sage] 2018/03/25(日) 02:23:39.84 ID:Yig4cMbl(1) AAS
分岐をすべて記譜にリストアップするようにしてから、爆発的に記譜が増えてます。
２０００程度だったのが、１５０００超えました。
が、まだまだスカスカみたいです。
ここまでするんなら、真面目に自己対戦して遡りせずに、ランダム着手に対して
分岐をリストアップさせても一緒というか、早い気がしてきています（汗
302: 310 [sage] 2018/03/31(土) 01:38:59.31 ID:h3UgGfs1(1/2) AAS
ランダム着手も追加して記譜増殖中。ただいま３２０００超え。
もっとも、残り数手とかの記譜もあるけど（汗
ステージ分割しているので、記譜がなかなか生成されない２５〜３０手近辺で
非常に少ない教師データで何度も学習する事になり、そのあたりが極端な
過学習になってしまった。
解消方法をいくつか検討中です。
１）時間かかっても良いので、２５〜３０手の記譜ができるまで頑張る
２）前後の盤面を混ぜて、教師データを増やしてみる
３）ランダム強化学習してみる。
２）３）をやると、おそらく、平均化されて評価値がフラットになるが大小関係は
治ってくると思う。
というわけで、今夜は２）３）を試してみる予定。
303: 310 [sage] 2018/03/31(土) 01:43:35.07 ID:h3UgGfs1(2/2) AAS
あと、時々スコア指定（ヌルウィンドウサーチ）の記譜作成処理で
エラー（スコア間違い）が出る時がある。
運が悪い事にハンドリングミスその他で、記譜を残せていないので、
現象の特定ができていない。
頻度としては数日に１回くらい。
たぶん、全滅と直前のパスがらみだと思うんだけど。
304: 535 [sage] 2018/03/31(土) 23:42:05.28 ID:4ltMn3J2(1/2) AAS
Geforce GTX 1060を増設しました。
>>214をpytorchで学習してみます。
305: 535 [sage] 2018/03/31(土) 23:46:58.88 ID:4ltMn3J2(2/2) AAS
んーうごかん。
GPUありとなしでポリシーファイルに互換性がないんですかね？
もしかして。
初めからやり直すか…
306: 310 [sage] 2018/04/01(日) 01:07:10.57 ID:OBeH+1OH(1) AAS
おお。どんどん進んでますね。
こちらは、昨夜のバグの現象は特定しました。
スコアが６２や−６２で、mtd(f)の探索開始が６４や−６４の時に、
置換表に残った６４や−６４が悪さして、６４や−６４と誤答する模様。
とはいえ、どこを直すべきかはわかりません。探索開始が６４や−６４
の時に、６２や−６２にしてやる事で、姑息的に回避はできるので後回し。
あと、記譜作成に色々機能を加えていたら、どこかがおかしそうだという
不安な状態になってしまいまして。このまま記譜学習を進めて良いか自信
が無いので、今までのデータで安全な部分をテスト用に回して、新たに
記譜を作成開始。３４手目までは全探索しながら普通に遡れる感じです。
３３手目から先は探索時間がしんどいので、ひとしきり落ち着いてから、もう
一度、遡りチェックのプログラムをきちっと見直して、追加していこうかな
と思っています。この間に、強化学習混ぜて、過学習部分を解消して
いこうと思います。
307: 535 [sage] 2018/04/01(日) 12:43:33.62 ID:lACu3cfl(1) AAS
お、ちゃんと時間測ってないからあれだけど、気持ち速くなってる気がする。
ちゃんと時間測りたいなぁ。
308: 310 [sage] 2018/04/01(日) 13:49:33.48 ID:DAl+8Sdv(1) AAS
バグ問題は、結局姑息的手段では回避できず。
全滅がらみでほかのケースでも誤答するケースが発生しました。
元々FFO#59用にmin-Max探索に入れていた、全滅時の処理くらいしか
原因となりそうなものが思い当たらなかったので、とりあえずコメントアウト
して様子見です。全滅時の探索が速度低下しますが、仕方がありません。
309: 310 [sage] 2018/04/02(月) 20:15:06.48 ID:9LYme7cN(1) AAS
結局バグ問題は…迷宮入り臭いです。
記譜作成で負荷テスト並みに探索を繰り返すと、全滅絡まなくても間違うケースが
出てきました。再現性が無いのが辛いところ。
その昔悩んでいた時も、やっぱり置換表がらみの問題で迷宮入りでしたが、
今回も、ケチって置換表を極力クリアせずに使用していた事から、何らかの
矛盾が起きているようです。それを言っちゃうと、置換表付mtd(f)でｆ値を変え
ながら探索することも、またその時に作成された置換表を流用して記譜作成
兼ねた読み切り処理を速度アップすることも、怪しいという事になるわけで。
間違えてしまった事が判明した時点で、その探索は捨てるくらいしか対策が
無いという事になります。
ネットで調べたら、将棋AI界隈でも置換表の問題点を書いている人がいまして。
少なくとも深さがあっていない置換表データは使うべきではない模様。
今の調子だと一晩動かすと結構な頻度で朝見たら止まっているとい状態なので
せめて発生率を下げるべく、mtd(f)に入る前に置換表をクリアする事にしました。
なぜしなかったかというと、記譜データからスコアが確定している盤面を置換表に
入れて、それを見ながら既に読み切りしている盤面は飛ばす処理をしていたから
です。置換表をクリアして盤面再構築に時間がかかるためです。別途盤面キャッシュ
を持って、そちらは追記、置換表は毎回クリアという形に変更しました。
310(197): 535 [sage] 2018/04/02(月) 22:24:32.85 ID:3iK+AnRP(1) AAS
Leela ZeroがKGSでかなり強くなってる。
俺がパクったプログラムも学習し続けたらあれくらい強くなるんだろうか？
311: 535 [sage] 2018/04/04(水) 20:42:51.24 ID:Y0WMbzNW(1/2) AAS
え、ちょっとまってよ。
GPUありなしでポリシーファイルが違うってことは
成果物を配布しようとしたらGPU持ってる人しか遊べないってこと？
312: 535 [sage] 2018/04/04(水) 20:54:25.72 ID:Y0WMbzNW(2/2) AAS
しかもCUDAとかも一緒にインストールしてもらわないといけない？
ええぇ？
313: 310 [sage] 2018/04/06(金) 22:00:28.44 ID:952uhqxW(1) AAS
誤答問題は、置換表クリアで解消しました。
違う局面の探索で使用した置換表データは使いまわしてはいけないという事で。
なんか、結果的に、２年くらい前にも同じ事で騒いでいたような。
色々整ってきたので、あとはひたすら記譜作成しながら学習を回すだけになって
しまって、暇になってます。別PC買ってそっちで学習させながら、別の事をはじめ
ようかなぁと思い始めています。
314: 535 [sage] 2018/04/07(土) 20:43:17.69 ID:SqbCC315(1) AAS
うーん、つよくならないorz
学習は継続しつつ別のalpha zero プロジェクトも物色するか…
315: 535 [sage] 2018/04/08(日) 22:10:18.77 ID:ZB9Bj6DG(1/3) AAS
ん、なんかメモリリークあんのかな…
swigでC++から移植したクラスってデフォルトでガベージコレクトされないのかなぁ？
もしかして。
316: 535 [sage] 2018/04/08(日) 22:43:04.99 ID:ZB9Bj6DG(2/3) AAS
VMWareの設定がメモリ1GBになってた。
とりあえず8GBに増やしてみた。
317: 535 [sage] 2018/04/08(日) 22:53:48.62 ID:ZB9Bj6DG(3/3) AAS
お、メモリ増やして再起動かけたら結構いい感じで進みだした？
メモリ増やしたのと再起動かけたのどっちが効いたのかわからんが。
318: 535 [sage] 2018/04/09(月) 20:58:16.91 ID:500BArdX(1) AAS
くそ〜ベストポリシー更新が全く来ないorz
もう何回目だ？TT
319: 535 [sage] 2018/04/11(水) 20:46:51.70 ID:uiOmKVU+(1/2) AAS
お、メモリ増やしたせいか連続運転が安定している。
しかしベストポリシー更新は相変わらずなしorz
320: 535 [sage] 2018/04/11(水) 23:07:04.06 ID:uiOmKVU+(2/2) AAS
もしかして、ネットワークの初期値が糞すぎるんだろうか。
でも確かめようがないorz
321: 535 [sage] 2018/04/15(日) 20:07:24.81 ID:8sCJrZFg(1/2) AAS
ベストポリシー更新まじコネ〜
でも他のプロジェクトに浮気しようにもなかなか手ごろなのがないんだよなぁ
上下前次1-新書関写板覧索設栞歴
あと 681 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.022s