【オセロ,将棋】ボードゲーム Part3【囲碁,War】 (636ﾚｽ)
上下前次1-新
309: 310 2020/05/29(金)00:56 ID:wYh6jGrP(2/3) AAS
速度低下は５０％どころではなかった…１５０〜２００％だorz
310(126): 310 2020/05/29(金)20:25 ID:wYh6jGrP(3/3) AAS
orderingの中でパス処理をしていたのでmobility関数を呼びまくっているのが遅い原因
ではないかと思い、パスの処理の仕方を変えて、パスも１手とするように変更したところ、
１５〜２０％の速度低下まで戻りました。他にも、つられてバグが発覚したので修正。
かなりのレアケースでしか発生しないバグですが、今まで自信満々で完全読み切りは
間違っていないと思っていましたが、なんか自信なくなった。
中盤探索も同様に修正したら、浅い探索の読み筋が変わったみたいで、少しは精度が
良くなるのかなぁと期待しています。
311: 535 2020/05/30(土)18:11 ID:TznaFVwY(1) AAS
以前もちょろっと触れたけど囲碁ディープラーニングプログラミングという本の12章にあるactor-critic法というのがまた気になり始めた。
自分なりに解釈して実装してみようかな。
312: 310 2020/05/31(日)10:02 ID:/CnVYfEH(1) AAS
またエラーが…
なんとなく記憶をたどっていくと、初段で並列処理してMap-Reduceすると、βカットの関係で
評価値は合っていても、ｏｒｄｅｒｉｎｇ次第で間違った手を返す事を思い出しました。
で、たまたま回避策となっていた処理を>>201で外してしまったのではないかと。
並列探索だと本質的に回避できない気がするので、初段を順次処理に変更。残り空きマス
２６での平均処理時間。一時は２０〜２５秒くらいまで来ていたのが、３０秒程度に悪化orz
313: 535 2020/06/04(木)21:00 ID:asDXFlye(1) AAS
藤井センセw
314: 310 2020/06/05(金)22:28 ID:TnykYlJh(1) AAS
藤井７段凄かったね。今年中に８段行っちゃうんじゃないかと思った。
エラーの原因を冷静に見直したところ、どこをどう変えたか覚えていないレベルの
ちょっとした修正を加えたところからドツボって、修正するたびに更にバグを仕込んで
いたような。結局、元々のプログラムに戻して、速度も復旧しました。むむむ。
こういうのがあるからから、終盤探索に手を入れたくないorz
Bookの遡り修正ですが…行き詰っています。
Kyoto Cabinetはやはり単一キーしか扱えず。
メモリー上に逆引きDBを作ると、たぶんBookよりサイズが大きくなるためメモリーにおけない。
しばし悩み中。
息抜きで、棋譜作成のロジックをちょこっと修正。
同じような評価値が並んでいたり、最善手より評価値が良くなる分岐について、今までは
見つけて気になったところだけ手で追加していましたが、適度なペースで見つけて自動的
に追加する様にしました。
315: 535 2020/06/15(月)22:53 ID:SQc2KJ2b(1) AAS
長期サボりモードに突入
なんか本で読んだけどモンテカルロ木探索の訪問回数をdnnの教師データとして使うようなやり方もあるらしい
316: 310 2020/06/15(月)23:12 ID:r41RfhWg(1) AAS
DB化、未だに方法が見いだせずストップしてます。
パブリックドロー臭いのにそうじゃない筋を手動で修正して、２０件ほどもとに戻った。
その間に、棋譜が１００万件突破しました。
が、Book眺めていると、まだまだ間違い多い。
Zebraも結構間違えているけどね。
317: 535 2020/06/17(水)21:35 ID:nCYZMpcd(1/2) AAS
2020/05/11 グロービス、囲碁AI「GLOBIS-AQZ」のプログラムをオープンソース化 プロジェクトの集大成としてソースコードを公開
外部ﾘﾝｸ[html]:www.globis.co.jp
知らなかった。
ちょっと見てみようかなぁ
318: 535 2020/06/17(水)23:13 ID:nCYZMpcd(2/2) AAS
なお、公開しているソースコードは対局・解析のみの実装で、学習に関する機能は含まれていません。
駄目じゃんorz
319: 535 2020/06/18(木)19:28 ID:i+asT3Px(1) AAS
ライフゲーム囲碁でモンテカルロ木探索の訪問回数をdnnの教師データにするのやり始めました。
今教師データを収集してるところです。
320: 535 2020/06/19(金)19:58 ID:Y5lRzoqU(1/3) AAS
教師データを学習させてみましたがあんまり強くなりませんでした。orz
321: 535 2020/06/19(金)20:44 ID:Y5lRzoqU(2/3) AAS
そもそもモンテカルロ木探索を教師にしてる時点で、モンテカルロ木探索の強さを大きくは超えられないわけで。
根本的に駄目な気はしてきたorz
322: 535 2020/06/19(金)23:03 ID:Y5lRzoqU(3/3) AAS
結局、現状、良い教師データがないと厳しい。
アルファゼロ方式の自己対局で強くなるのは1000年かかりそうだし。
むうぅ
323: 535 2020/06/22(月)19:37 ID:q97LdCHr(1) AAS
katago最後のリリース
外部ﾘﾝｸ:github.com
324: 535 2020/06/28(日)20:46 ID:7SoJ+c30(1) AAS
藤井センセw
棋聖戦2勝目か
325: 535 2020/06/29(月)19:50 ID:gKYec+q1(1) AAS
ライフゲーム囲碁で打った石が最終的に取られるかどうかを学習させてみようかと考え中
326: 310 2020/07/03(金)01:33 ID:ULg6SDrD(1/2) AAS
相変わらず棋譜作成しながら評価関数学習を続けています。ようやく１００万件突破。
推定パブリックドローは大体７００件くらいで増えたり減ったりしています。
対称形や合流も重複させていますので、重複除くと４００件くらいかなぁ。
終盤は比較的多数の分岐を試しているのですが、序中盤の分岐が不足していて、
棋譜が偏っているような気がしてきたので、棋譜作成のロジックを大幅に変更して
序中盤の分岐が多くなるように。また、評価値とBook値が大きく違う分岐を再検証
するようにしてみました。これで、抜けている筋がだいぶ拾えるようになると期待。
棋譜作成中に暇な時間が多いので、試しにZebraと対戦。Zebraはランダムに
パブリックドロー筋から外れる様にできているようですが、外れたら勝てるはずが、
なかなか勝てない。Zebra２６手読み、こちらは時間の都合で２０手読みくらいなので
仕方が無いのですが、それにしてもBook外れた時の評価関数の精度が悪いという事に。
あと、やはり中盤探索の速度に大きな差があり、とても２６手読みなどできない。
むむむ。
327: 310 2020/07/03(金)01:35 ID:ULg6SDrD(2/2) AAS
つか、藤井先生強すぎ。
１回勝負なら時々一発入るけど、番勝負で勝ち越せる人いないんじゃないかな。
竜王戦勝ち進んで、豊島竜王名人との番勝負が見てみたい。
328(2): 535 2020/07/04(土)11:25 ID:aqVM5XYH(1) AAS
そこに打ったらn手以内に反撃で取られてしまうか？を判定するルーチンを書いてAIに組み込んだら、かなり動きがよくなった。
329: 535 2020/07/05(日)17:58 ID:pswe4q4i(1) AAS
結局、強化学習できない限り、DNNあんま意味ないんじゃ？という状態。
330: 535 2020/07/09(木)22:57 ID:j8dvyCDa(1) AAS
藤井センセ今日は駄目だったか。次回に期待。
331: 310 2020/07/11(土)00:47 ID:UjRsM2rb(1) AAS
残念だったね＜Ｆ７先生。相当疲れているんじゃないかな。まだ連戦続くので心配。
こちらは棋譜じゃんじゃか追加中。もう逆順探索で正確さを高めるなんて言ってられない。
いちいち遡りチェックするより、分岐を増やしてしまった方が早い気がしてきた。
で、Zebraと対戦させると、まだまだ穴だらけ。Zebraがわざとパブリックドローから外した
ところからが本番の対局となるのですが、そこから１０〜２０手の間に２回くらい間違えて
逆転される感じ。逆にZebraがほとんど間違えていない事に驚いています。評価値は怪しい
ところもあるけど、選択する手のミスが本当に少ない。Zebra２４手読みに変えましたが、
こちらは１７手。読む深さの差もあるのか。
デバッグ用のBookチェックプログラムを改良して、簡易対戦と棋譜訂正が外から簡単
にできるようにしました。今まではプログラム動かしていると、気が付いた訂正箇所も
いちいちプログラム止めないと追加できなかったのですが、動かしっぱなしのままで
訂正済棋譜にして適宜放り込めるようになりました。ただ、Bookが凄い勢いで増大して
いるので、メモリーがかなり危機的状況になってきました。BookチェッカーもBook全体を
読み込むので、ダブルで効いてくる。今16Gなのですが32Gは欲しい。
Zebraに負けた棋譜の手を遡って最善手順っぽいの探して訂正していくと、まだまだ
パブリックドローっぽい手順が結構見つかる。過去に間違えてパブリックドローではない
と判断している奴も結構ありそうなので、見つけられたら最終８００件くらいは行くと思う。
中盤探索の速度差は、ただのProbCutとMulti-ProbCutの差かなぁ。あれ、再計算が重くて
以前は実装していたんだけど、PC壊れてソース全滅して以来手を出していないのよね。
332: 535 2020/07/16(木)19:51 ID:5lwAwdbR(1) AAS
藤井センセええええええええええ！！！
333: 310 2020/07/17(金)13:10 ID:wiyFtChq(1) AAS
王位戦第二局も含めて、ツエーーーーーーーーーー！って、今更ながらに思った。
人間相手ならabemaAI的４０：６０で不利な局面程度はひっくり返せるという事なんだろうなぁ。
あと、木村王位の体育座りが悲しかった。
棋譜作成は、自動作成で一気に大量に貪欲法かけたところ、既存の推定パブリックドロー筋
の４割くらいが、事前の分岐でパブリックドローから外れる事態に（汗
想定からズレた箇所は、見つけ次第ログに書き出して、そこから貪欲法でチェックするの
ですが、それでもパブリックドローから外れる筋については、Zebra使って徹底チェック。
自分のAIとZebraが同意見でも、読みが深まるにつれて揺れ動くZebraの評価値を見ていた
ら、なんとなくZebraが間違えていそうな着手がわかるようになってきて、その手をさらに
深堀してチェックする事で、ほぼ元の数まで戻す事ができました。たぶん、「パブリック
ドローから外れるのが正解」という筋が２系統ありまして、逆に周辺を掘って行ったら別の
パブリックドロー筋が見つかったりして、現在のところ残り３０手推定パブリックドローが
７８０通り程度となりました。
増えたり減ったりはあるけど、今週だけで８０件近く増えているので最終は１０００件程度に
なってもおかしくない気がします。
もろに、人間が判断して手作業で修正みたいなのが、悲しいところ。
Zebraが無ければこんな事できないわけで。
334: 535 2020/07/19(日)18:17 ID:ZoPMvH5f(1) AAS
とりあえず、>>328のAIで棋譜取り始めることにしました。
棋譜取った後の方針はまだあんまり固まってませんが。
335(1): 535 2020/07/20(月)21:59 ID:Jx63yD56(1) AAS
ちょっと寄り道して4x4タイルゲームの最善手順計算してみた。
双方最善で20手で後手勝利みたい。
結構手順長いですね。
336: 535 2020/07/21(火)20:43 ID:bqi5P5mB(1) AAS
あれ、ちがう？
22手かな？
337: 535 2020/07/23(木)21:12 ID:ly3edh17(1) AAS
ふとやねうらおさんのサイトちょっとみてみたら、やっぱレベルたけーんだなって感じ。
338: 535 2020/07/29(水)22:17 ID:X7Evhq9+(1) AAS
さぼりまくってます。
上下前次1-新書関写板覧索設栞歴
あと 298 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.023s