[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
159: 310 2017/12/17(日)00:21 ID:qILmYkkQ(1/2) AAS
ノートPCの冷却用（動作周波数に結構影響する）にUSB扇風機使ってましたが、
結構サイズでかくて持ち運び面倒だし、ノートPCのUSBポートに刺していると
安全装置が働いてしまうので、別途電源取っていました。
で、どうせ強化学習回しておくだけで暇だったので、専用のクーリングファンを
自作してみました。
タカチのアルミケースをぴったりサイズに切り欠いて、USBコネクタと5Vの
クーリングファンをセット。ノートPCに装着するとファンが回って冷却開始。
製作時間１時間程度。材料費は３０００円くらい。
雑に作った割にはうまくできた。
160: 310 2017/12/17(日)02:09 ID:qILmYkkQ(2/2) AAS
EigenのSparseMatrixのサイズ制限を変える方法が見つかりました。
現在、簡易版と詳細版の２種類の評価関数を学習していますが、
これにより詳細版を完全にBuroさんモデルにする事ができるように
なりました。
というわけで、詳細版は再度学習し直しです。
簡易版は、多少癖があるようだけど、そこそこまともになっています。
一方、詳細版は何度もやり直し中（汗
161: 535 2017/12/17(日)19:24 ID:QB4rs7DZ(1/2) AAS
DBはメモリの勝負になる。
やはりCNNなどでメモリを圧縮する必要がある。
162: 535 2017/12/17(日)20:37 ID:QB4rs7DZ(2/2) AAS
うお、試行回数０回のデータ削除したらメッチャメモリ使用量減ったｗ
これで当分DBで押せるｗｗ
163: 535 2017/12/18(月)21:48 ID:2VaG9uC3(1) AAS
ちょっとづつ良くなってるとは思うけど今一歩だな〜
もうちょっとヒューリスティック入れたほうがいいかな〜
164: 310 2017/12/19(火)00:06 ID:jyMFUoq3(1) AAS
気が付いたらTensorFlowがWindows対応になってるね。
New PC欲しい病再発の兆し・・・
165: 535 2017/12/19(火)22:55 ID:BAiqwtex(1) AAS
とりあえず、ヒューリスティックのアイディアが２つあるんだが、
下手に手を加えないでDB肥大化で押したほうが、
真の棋理に近づくのかもしれないなどとも思ったり。
悩ましい。
166: 535 2017/12/20(水)00:23 ID:S+Iz2Vgy(1/2) AAS
ヒューリスティック一個仮組みしてみたけど上手くいかないや。
がっかりorz.
167: 535 2017/12/20(水)22:02 ID:S+Iz2Vgy(2/2) AAS
ちなみに仮組したヒューリスティックの内容は
適当な回数プレイアウトして7連が一番多くできたところ付近にしぼって
モンテカルロ木を展開するというもの。
168: 535 2017/12/21(木)20:13 ID:TDrdSCuN(1/2) AAS
序盤はそんなに悪くないんだけど終盤がなぁ
やっぱ9路でも必至、詰めろルーチンいるなぁ
169: 535 2017/12/21(木)20:14 ID:TDrdSCuN(2/2) AAS
でも遅くなるの見えてるからちょっとなぁ。
170: 535 2017/12/22(金)21:57 ID:fGil/O5L(1) AAS
なんか落ちるバグがあるな。
そういえば直してなかった。
は〜
171: 310 2017/12/23(土)09:08 ID:V4gvcHPy(1) AAS
ノードを完全読み切りまで展開した時に、末端ノードの評価が狂う時があるという
バグが以前ありました。おそらく並列処理による２重更新問題だろうと言う事で、
UCT探索の排他部分を強化して対応していましたが、ここにきてまた発生。
昨日原因が判明しました。まさかの、浮動小数点誤差の問題でした。
スコアの合計値と、試行回数を持っていて、合計値÷試行回数で平均スコアを
計算しているのですが、合計値が３５００万を超えたあたりで＋２をしてもfloat的
には、その２差を表現できる精度が無くなって、少しづつ合計値が不足していく
状態になっていました。
とりあえずfloatをdoubeにしてみましたが、案の定メモリーを消費する速度が大幅
増加してしまいました。小数点以下１桁もあれば十分なのでintに１０倍値を持つ
ようにしてみようかなぁと思っています。
172: 310 2017/12/24(日)00:22 ID:XlhSPCGK(1) AAS
intに変更。桁溢れが無ければ、これで大丈夫だと思います。
ついでに速度アップしている分だけ、自己対局の探索時間を短くしました。
評価関数を簡易版・詳細版２種類使っていましたが、詳細版も十分に学習
できたようなので、詳細版一本に絞りました。というか、そろそろ追い抜いた
と思えるようになってきました。とはいえ自己対局の評価値を見ていると
３０手目以後はそこそこまともな感じですが、序盤はまだデタラメかなぁ。
完全読み切りですが、３０手より前に遡る事がなかなかできません。評価関数
の精度のためか、残り２８手あたりから急激に読み切り時間がかかるようになり
ます。評価関数の精度が悪いのでオーダリングが正しくできていないからでは
無いかと想像しています。強化学習で補えるかと思っていますが、まだまだの
ようです。
現在、記譜学習は完全読み切りができている盤面しか使用していませんが、
せめてMCTS探索が始まって以後の盤面も学習に使用してみようか悩み中。
これ以上の精度を求めると、やはりDLに行かざるを得ないですね。
今の探索でもツリーがメモリー内に収まるギリギリに係数を設定しているので
探索延長が起きるとあっという間にスワップ開始になってしまいます。
というわけで大きなメモリーが欲しい今日この頃です。
173: 535 2017/12/25(月)21:28 ID:iTZFwLsg(1) AAS
すっごい微妙な駆け引きができるようになって会心の勝利！
と思いきや勝利目前でバグが出てパス2回した後エラーはいて落ちたorz
くそくそくそくそ！
いい加減直さなきゃだけど再現性低いからバグ潰すの難しいんだよなぁ
(
;FF[1]GM[1]SZ[9]
;B[ee];W[dc];B[de];W[ce];B[ge];W[df]
;B[hc];W[fg];B[gd];W[gf];B[cf];W[eg]
;B[gg];W[gh];B[cd];W[fe];B[fd];W[dd]
;B[ff];W[hg];B[be];W[cg];B[];W[gg]
;B[];W[dg])
174: 535 2017/12/26(火)21:57 ID:vTaELiqs(1/2) AAS
勝利が目前に近づくとパスする。
マジ原因がわからんorzorzorz
ログでも仕込むか？
175: 535 2017/12/26(火)22:08 ID:vTaELiqs(2/2) AAS
石を取って必勝形になる形だとパスするのか？
条件絞り込みがムズイ。
とりあえず、ログかなぁ？
176: 535 2017/12/27(水)20:40 ID:SLxZ+o46(1/4) AAS
ログ仕込んだら計ったように再現しなくなったｗｗｗｗ
しばらく対局しまくるしかないか
177: 535 2017/12/27(水)21:31 ID:SLxZ+o46(2/4) AAS
バグの原因わかりました。
ノードに盤面情報登録し忘れてるパスがあった。
これで落ちずに連続対戦できるようになるかな。
178: 535 2017/12/27(水)22:15 ID:SLxZ+o46(3/4) AAS
連続対戦上手く動いてるっぽいです。
今のところ黒番で８勝２敗
かなりいい感じ。
179: 535 2017/12/27(水)22:57 ID:SLxZ+o46(4/4) AAS
黒番で１３勝７敗
だいぶ追い上げられたorz
でも連続対戦ちゃんと動いてるようで嬉しい。
180: 310 2017/12/28(木)00:14 ID:p44JRClR(1) AAS
やっぱりintでオーバーフローしてた（汗。仕方無いのでint64で。doubleでも
メモリーサイズは一緒だけど、intの方がオーバーフローがわかりやすい。
あと、効果あるかわからないけど、置換表再利用回りをちょっと機能追加。
途中でゲーム終了になった時のスコアカウントですが、FFO計算をチェックに
使っている関係で空白マスを勝者総取りにしています。しかし、学習の時には
空白マスを含めない方が回帰の計算的には良いのではないかなと思い始め
ています。MCTS的には終局判定を入れてあり正しく終局時スコアを返すので、
あくまで学習時だけの話です。
ただ、記譜を経由していればスコア再計算で良いのですが、置換表に溜まって
いる盤面情報では、アメリカルールのスコアを割り出しようが無いという…。
181: 535 2017/12/30(土)18:56 ID:YPjfi6f/(1) AAS
実家に帰省しました。
DB作成を流しっぱなしにしてきたので
正月あけどれくらいデータ取れてるか楽しみ
182: 2017/12/31(日)18:54 ID:/rN76OKL(1) AAS
簡単にお金が稼げる方法興味ある人だけ見てください。
グーグル検索⇒『来島のモノノリウエ』
G32792G4ML
183: 535 2018/01/04(木)19:09 ID:mx9U9VEK(1/3) AAS
ふむう。学習は大分進んだと思うのですが、勝率が思うように上がりませんね。
184: 535 2018/01/04(木)19:40 ID:mx9U9VEK(2/3) AAS
もうちょいヒューリスティック入れるか…
185: 535 2018/01/04(木)20:05 ID:mx9U9VEK(3/3) AAS
leela zeroがもう有段者くらいの実力をつけているらしい。
もういちどleela zeroパクれるか検討するか？
うーむ。
186: 310 2018/01/05(金)08:48 ID:DiPIPsFr(1) AAS
年末年始で学習進めてました。
学習が進んだ結果、３３〜３５手目あたりは正確になり、評価値の精度が上がった
事からオーダリングが機能するようになり、遡りチェックの時間は少しづつ減ってきて
いる感じですが、３０〜３２手目以前はまだまだばらつきがある感じです。
また、以前から気になっていたのですが、MCTSによる記譜作成では３５手目以後で
急に頻繁に手を間違える症状が出ています。記譜を膨らますにはちょうど良いので
放置していましたが、いよいよバグ探しを開始。やっぱり、並列処理の排他が不十分
で、末端ノードまでたどり着いて同じノードに探索が集中した時に、スコアの更新が
ぶつかっておかしな値になる事で、別のノードを探索。また探索が集中し、スコアが
狂い別のノードを探索という感じになっていた模様です。
修正したら大幅スピードダウンしてしまいましたが、精度は上がりました。
速度を持ちなおせるか色々調べましたが、ちょっと厳しい感じです。
187: 310 2018/01/08(月)02:22 ID:hx3YjBuD(1/3) AAS
記譜作成ですが、スコア差が大きなものが少ないため、ランダム着手の所に手を
加えてみましたが、今度は極端になりすぎて、パーフェクト勝敗な記譜が増えて
しまいました。どうしよう。
スピードダウンの影響は結構大きく、探索の終盤で、同じツリーに対する探索が集中
するためか、さらに大きく速度低下し、今度はそちらが原因で終盤間違えるように
なった感じです。あちらを立てればこちらが立たずです。
当初は、こういう問題はなかったはずなので、過去のソースを見直してみるつもり。
188: 535 2018/01/08(月)19:56 ID:NhsCP7en(1/2) AAS
alpha zero を参考にしたプロジェクトがgithubにいくつかあるんですがパクれないか物色中。
オセロやコネクト４もあるみたいですね。
上下前次1-新書関写板覧索設栞歴
あと 814 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.012s