【オセロ,将棋】ボードゲーム Part3【囲碁,War】 (636ﾚｽ)
上下前次1-新
264: 535 2020/04/28(火)19:29 ID:VfQhex7P(1/2) AAS
打ち筋は確かに改善されてるような気がするんだよなぁ。
ただ、あまりに上達が遅い。
265: 535 2020/04/28(火)20:06 ID:VfQhex7P(2/2) AAS
何で五目並べはあんなうまく行くんだろう？
やっぱ複雑度が全然違うのだろうか？
266: 535 2020/04/30(木)18:36 ID:6uxMdcsM(1) AAS
どんなに早くてもleela zeroが強くなるのに必要だったぐらいの時間はかかるのかもしれないなこれ…
267: 535 2020/05/02(土)20:07 ID:ppsdwWbz(1) AAS
あかん、超長期戦になりそうorz
マシンパワーがあと10000倍あればorz
268: 535 2020/05/03(日)19:21 ID:6By0oz27(1/4) AAS
らちが明かないので19路囲連星はいったん止めて9路囲連星に移行します。
でもいつかは戻ってきたい。
I shall return.
269: 535 2020/05/03(日)22:42 ID:6By0oz27(2/4) AAS
お、9路囲連星は結構強くなるかも。
早くもランダムではない何かを感じる。
270: 535 2020/05/03(日)23:03 ID:6By0oz27(3/4) AAS
もしかしたら19路囲連星は層の数が足りなかったってことなのかも。
9路囲連星は6層でやってます。
5目並べが4層でうまく行ったから7目並べの囲連星なら6層かな？と思ったのですが当たりだったかも。
271: 535 2020/05/03(日)23:32 ID:6By0oz27(4/4) AAS
これは…
明らかに知性がある…
272: 535 2020/05/05(火)17:29 ID:3PlXxhBg(1) AAS
おっとバグがあったorz
でもこれで行けるはず。
273: 535 2020/05/06(水)10:40 ID:Oyc/dCE2(1/2) AAS
うおお、公式ボットに勝った〜
凄い！！
274: 535 2020/05/06(水)15:40 ID:Oyc/dCE2(2/2) AAS
しかしalpha zero てこの手のゲームの最終解答にちかいな。
単に移植しただけで既存ボットに勝つとは。
275: 535 2020/05/07(木)19:53 ID:LRbJj7fv(1/8) AAS
学習が進んだので既存ボットと対戦してみましたが、大幅に負け越しますね。。。
過学習？
276: 535 2020/05/07(木)20:07 ID:LRbJj7fv(2/8) AAS
うーん、わからん。層数をさらに増やして学習させてみようかな…
囲碁AIにならって20層くらい一気にいってみるかな…
277: 535 2020/05/07(木)20:19 ID:LRbJj7fv(3/8) AAS
チャネル数 384
層数 20
の超ビッグネットワークで再挑戦します。
278: 535 2020/05/07(木)20:59 ID:LRbJj7fv(4/8) AAS
ん、CPU使用率が上がらない？
ネットワークでかすぎたか？
279: 535 2020/05/07(木)21:03 ID:LRbJj7fv(5/8) AAS
GPUのメモリが溢れてるっぽいorz
しょうがない、小さくするか。
280: 535 2020/05/07(木)21:25 ID:LRbJj7fv(6/8) AAS
GTX 1080 でもメモリ足らんとかorz
気安くいってくれるぜ
281: 535 2020/05/07(木)21:27 ID:LRbJj7fv(7/8) AAS
バッチサイズもでかくしたのまずかったっぽい
282: 535 2020/05/07(木)22:52 ID:LRbJj7fv(8/8) AAS
うーん、もしかしたらCPUはあんま必要なくてGPUに金使ったほうがいいのかもしれないな。これは。
283: 535 2020/05/08(金)20:21 ID:vYlFFPu/(1) AAS
層増やしたけどあんまうまく行ってないのかなぁ。
それともまだまだ学習が足りないだけなのか…
284: 310 2020/05/09(土)00:56 ID:tOwbW1Pp(1) AAS
棋譜作成触りすぎるとなかなかはかどらなくなるので、しばし回しっぱなし。
そろそろBookが巨大化しすぎているので、メモリーからSDDに移せないか検討中。
concurrent_unordered_mapを自作した経緯があるので、同じような感じでランダム
アクセスなDB化をしてます。確定分は探索で使うのでメモリーにおいて、速度を
必要としないアクセスをDBにしようかなと。
巨大Bookの作成処理の類を並列処理にしているので、何とか並列にできないかと
色々やっていますが、色々と罠がある。複数プロセスからの並列更新はあきらめた
省2
285: 535 2020/05/12(火)21:24 ID:autiDqQV(1/2) AAS
1ゲームすら勝てない…
何が悪いんだ？
286: 535 2020/05/12(火)21:56 ID:autiDqQV(2/2) AAS
いままで新旧のAIを比較するとき10戦中6勝以上でAI更新にしてたのを50戦中30勝以上で更新にしてみます。
もしかしたら試行回数が少なすぎて弱くなっていてもAI更新してたかもしれないので。
287: 310 2020/05/12(火)23:05 ID:AcB4a3UT(1) AAS
うぬぬ。DB化は並列諦めてみたけど、やはり更新が遅すぎる。
もうちょっと工夫してみるけど。
288: 535 2020/05/14(木)19:16 ID:7UgQPtyV(1) AAS
ただ待ってるだけってのもつらいな。
結果も出ないし。
289: 535 2020/05/15(金)18:59 ID:55GCUZ0E(1/3) AAS
心が折れそうorz
290: 535 2020/05/15(金)19:20 ID:55GCUZ0E(2/3) AAS
自己対局みてると結構強そうに見えるだけどな。
公式AIと対局すると勝てねんだよな。
291: 535 2020/05/15(金)19:53 ID:55GCUZ0E(3/3) AAS
ギブアップです。
何か次のこと考えよう。
292(1): [age] 2020/05/16(土)11:39 ID:n0PK2vlL(1) AAS
AlphaGoは計算資源をコスト度外視で使って1000年分対局してるから……
293: 2020/05/16(土)15:42 ID:G8tru4l4(1) AAS
IT掲示板群 外部ﾘﾝｸ[aspx]:x0000.net
学術の巨大掲示板群 - アルファ・ラボ 外部ﾘﾝｸ:x0000.net
数学 物理学 化学 生物学 天文学 地理地学
IT 電子 工学 言語学 国語 方言 など
simulationライブラリで純粋な関数式プログラミングをする
外部ﾘﾝｸ[aspx]:x0000.net
UIライブラリ (C#, 2D) を作ったよ
省11
294: 535 2020/05/16(土)18:10 ID:BsSPHqoG(1) AAS
AA省
295: 535 2020/05/18(月)18:55 ID:ErVFXYqV(1) AAS
次のアイディアもなくすっかりさぼりモード
296: 310 2020/05/18(月)21:57 ID:lyHQ6R5E(1/3) AAS
Hash関数変更
DBのハッシュキーの効率が悪かったので、ちょっと考えてみた。
今まではshuffle_epi8でバイト単位シャッフルしていたのを、BMIのpextでビット単位の
シャッフルと、rotateしたものを、xorでまとめていく方法。以前よりは、ちょっと良くなった
気がする。
何をもってよくなったかの指標が欲しくなり、ネットを探索したけど、数値指標みたいなの
は見つからない。確率論の誕生日問題の反対みたいな状況なのでしばらく考えてみる。
省8
297: 310 2020/05/18(月)22:17 ID:lyHQ6R5E(2/3) AAS
DBの件
たぶんあるだろうとネットで検索してみたら、Kyoto Cabinetなるキーバリュー型の
簡易DBライブラリがある事が判明。ほかにもLevelDBとか、何種類かあるみたい。
RDB使うまでもないけど、データ量が多いとメモリーだとリソース勿体ないみたいな。
やはりみんな考える事は一緒だなと。せっかくなので導入の方向で検討。
DBの速度問題
また、おそらく１棋譜単位でのBook更新は速度的に問題ないのですが、DAG（合流）
省5
298: 310 2020/05/18(月)23:50 ID:lyHQ6R5E(3/3) AAS
DBの件…
確定探索の時にはメモリーに確定分だけおいとくと考えていましたが、
今件数確認したらおよそ２／３は確定分として確保しなきゃならない
事に気づきました（汗
棋譜作成時はメモリーでやるしかないかも。
１棋譜更新でのDAG問題回避はやりたいかな。
Book再構築にだいたい２０分くらいかかる。
省2
299: 310 2020/05/20(水)01:15 ID:Xgj8E+2H(1/2) AAS
久々に完全読み切りでバグ発生。
ProbCutを広げながらmtd(f)している時に、どうもパス絡みで発生しているっぽい。
ProbCutによるIterative Wideningを止めたらちゃんと読み切る。
まあ、置換表絡みなんだとは思うけど、事例が少なすぎて（数か月に１回程度）、
前の記録消しちゃったので、とりあえず記録を残し、絆創膏当てて続行。
気が向いたらデバッグしてみる。可能性があるところはなんとなくわかっている
つもりだけど。
省2
300(1): 2020/05/20(水)03:14 ID:kE3dJxL+(1) AAS
お姉さん問題で有名な、北大の湊教授のZDD を使えないの？
本も出てる
301: 535 2020/05/20(水)16:25 ID:BUng/tdF(1/2) AAS
katagoを使った9路囲碁の巨大Book作成、やってみようかなぁ。
難しそうだけど。
302: 310 2020/05/20(水)17:28 ID:Xgj8E+2H(2/2) AAS
Hash関数の効率判断基準できました。
同じキーにデータが８つくらい入っているようなものもあり、それが適正かどうか
判断できなくてゴチャゴチャしていましたが、昨夜しれっと書いたように未使用キー
の数の期待値に着目したら簡単でした。
キーサイズと、データ件数からExcelなどで簡単に計算できます。
３件程度調べてみましたが、理想的な一様ランダム値で生じる未使用キー数の
期待値との差は０．１％未満で、このHash関数も一様ランダム化するものと言って
省3
303: 535 2020/05/20(水)18:41 ID:BUng/tdF(2/2) AAS
やっぱライフゲーム囲碁やりてぇなぁ。
ウーム悩ましい。
304: 310 2020/05/21(木)00:46 ID:ahADKaci(1) AAS
Hash値、１件２件…と期待値出そうと思ったら、なんとなく昔の記憶が戻ってきて、
０件の時は不要だけど、こちらではPとかCとかが必要になるような気がしてきた。
確率の勉強するかな。
ZDDちらっと見てみたけど、ちょっと目的と違うような感じがしている。
本買ってみるけど。
脱線はこれくらいにして、DAG考慮したBook更新に戻ろう。
305: 535 2020/05/22(金)19:57 ID:khQY98T/(1) AAS
自己流でライフゲーム囲碁に取り組むべきか。
なぜalpha zeroがうまく行かなかったのかを調査すべきか。
まあしばらくさぼりモードだけど。
306(1): [age] 2020/05/26(火)02:09 ID:dgMv5Qb/(1) AAS
・19路盤での定石の発見とかを可視化して、強さを判断する
・まず5〜9路盤で最強目指す
俺なら後者を選択する
バグが出なくなったら前者に取り組む
307: 535 2020/05/26(火)18:51 ID:QRHJU3eS(1) AAS
>>306
実際に自分で手を動かす人なら歓迎するぞ？
口先だけならいらない。
308: 310 2020/05/29(金)00:49 ID:wYh6jGrP(1/3) AAS
DAG時のBook更新の件、めっちゃ悩み中。
普通にやったら１件更新に１４秒とかかかって使い物にならない。
逆引きDBを作ろうかと思うのだけど、結構なサイズになるので、それこそメモリーに
置きたくない。形としてはunordered_multimapになるんだけど、Kyoto Cabinetが重複
キーを許すのか英文読まなきゃならないので止まってる。
そうこうするうちに完全読み切りのバグがまた発生して、事例が３件になったので、
調査開始。２か所間違いを発見。一つ目はケアレスミス。
省4
309: 310 2020/05/29(金)00:56 ID:wYh6jGrP(2/3) AAS
速度低下は５０％どころではなかった…１５０〜２００％だorz
310(126): 310 2020/05/29(金)20:25 ID:wYh6jGrP(3/3) AAS
orderingの中でパス処理をしていたのでmobility関数を呼びまくっているのが遅い原因
ではないかと思い、パスの処理の仕方を変えて、パスも１手とするように変更したところ、
１５〜２０％の速度低下まで戻りました。他にも、つられてバグが発覚したので修正。
かなりのレアケースでしか発生しないバグですが、今まで自信満々で完全読み切りは
間違っていないと思っていましたが、なんか自信なくなった。
中盤探索も同様に修正したら、浅い探索の読み筋が変わったみたいで、少しは精度が
良くなるのかなぁと期待しています。
311: 535 2020/05/30(土)18:11 ID:TznaFVwY(1) AAS
以前もちょろっと触れたけど囲碁ディープラーニングプログラミングという本の12章にあるactor-critic法というのがまた気になり始めた。
自分なりに解釈して実装してみようかな。
312: 310 2020/05/31(日)10:02 ID:/CnVYfEH(1) AAS
またエラーが…
なんとなく記憶をたどっていくと、初段で並列処理してMap-Reduceすると、βカットの関係で
評価値は合っていても、ｏｒｄｅｒｉｎｇ次第で間違った手を返す事を思い出しました。
で、たまたま回避策となっていた処理を>>201で外してしまったのではないかと。
並列探索だと本質的に回避できない気がするので、初段を順次処理に変更。残り空きマス
２６での平均処理時間。一時は２０〜２５秒くらいまで来ていたのが、３０秒程度に悪化orz
313: 535 2020/06/04(木)21:00 ID:asDXFlye(1) AAS
藤井センセw
314: 310 2020/06/05(金)22:28 ID:TnykYlJh(1) AAS
藤井７段凄かったね。今年中に８段行っちゃうんじゃないかと思った。
エラーの原因を冷静に見直したところ、どこをどう変えたか覚えていないレベルの
ちょっとした修正を加えたところからドツボって、修正するたびに更にバグを仕込んで
いたような。結局、元々のプログラムに戻して、速度も復旧しました。むむむ。
こういうのがあるからから、終盤探索に手を入れたくないorz
Bookの遡り修正ですが…行き詰っています。
Kyoto Cabinetはやはり単一キーしか扱えず。
省6
315: 535 2020/06/15(月)22:53 ID:SQc2KJ2b(1) AAS
長期サボりモードに突入
なんか本で読んだけどモンテカルロ木探索の訪問回数をdnnの教師データとして使うようなやり方もあるらしい
316: 310 2020/06/15(月)23:12 ID:r41RfhWg(1) AAS
DB化、未だに方法が見いだせずストップしてます。
パブリックドロー臭いのにそうじゃない筋を手動で修正して、２０件ほどもとに戻った。
その間に、棋譜が１００万件突破しました。
が、Book眺めていると、まだまだ間違い多い。
Zebraも結構間違えているけどね。
317: 535 2020/06/17(水)21:35 ID:nCYZMpcd(1/2) AAS
2020/05/11 グロービス、囲碁AI「GLOBIS-AQZ」のプログラムをオープンソース化 プロジェクトの集大成としてソースコードを公開
外部ﾘﾝｸ[html]:www.globis.co.jp
知らなかった。
ちょっと見てみようかなぁ
318: 535 2020/06/17(水)23:13 ID:nCYZMpcd(2/2) AAS
なお、公開しているソースコードは対局・解析のみの実装で、学習に関する機能は含まれていません。
駄目じゃんorz
319: 535 2020/06/18(木)19:28 ID:i+asT3Px(1) AAS
ライフゲーム囲碁でモンテカルロ木探索の訪問回数をdnnの教師データにするのやり始めました。
今教師データを収集してるところです。
320: 535 2020/06/19(金)19:58 ID:Y5lRzoqU(1/3) AAS
教師データを学習させてみましたがあんまり強くなりませんでした。orz
321: 535 2020/06/19(金)20:44 ID:Y5lRzoqU(2/3) AAS
そもそもモンテカルロ木探索を教師にしてる時点で、モンテカルロ木探索の強さを大きくは超えられないわけで。
根本的に駄目な気はしてきたorz
322: 535 2020/06/19(金)23:03 ID:Y5lRzoqU(3/3) AAS
結局、現状、良い教師データがないと厳しい。
アルファゼロ方式の自己対局で強くなるのは1000年かかりそうだし。
むうぅ
323: 535 2020/06/22(月)19:37 ID:q97LdCHr(1) AAS
katago最後のリリース
外部ﾘﾝｸ:github.com
324: 535 2020/06/28(日)20:46 ID:7SoJ+c30(1) AAS
藤井センセw
棋聖戦2勝目か
325: 535 2020/06/29(月)19:50 ID:gKYec+q1(1) AAS
ライフゲーム囲碁で打った石が最終的に取られるかどうかを学習させてみようかと考え中
326: 310 2020/07/03(金)01:33 ID:ULg6SDrD(1/2) AAS
相変わらず棋譜作成しながら評価関数学習を続けています。ようやく１００万件突破。
推定パブリックドローは大体７００件くらいで増えたり減ったりしています。
対称形や合流も重複させていますので、重複除くと４００件くらいかなぁ。
終盤は比較的多数の分岐を試しているのですが、序中盤の分岐が不足していて、
棋譜が偏っているような気がしてきたので、棋譜作成のロジックを大幅に変更して
序中盤の分岐が多くなるように。また、評価値とBook値が大きく違う分岐を再検証
するようにしてみました。これで、抜けている筋がだいぶ拾えるようになると期待。
省6
327: 310 2020/07/03(金)01:35 ID:ULg6SDrD(2/2) AAS
つか、藤井先生強すぎ。
１回勝負なら時々一発入るけど、番勝負で勝ち越せる人いないんじゃないかな。
竜王戦勝ち進んで、豊島竜王名人との番勝負が見てみたい。
328(2): 535 2020/07/04(土)11:25 ID:aqVM5XYH(1) AAS
そこに打ったらn手以内に反撃で取られてしまうか？を判定するルーチンを書いてAIに組み込んだら、かなり動きがよくなった。
329: 535 2020/07/05(日)17:58 ID:pswe4q4i(1) AAS
結局、強化学習できない限り、DNNあんま意味ないんじゃ？という状態。
330: 535 2020/07/09(木)22:57 ID:j8dvyCDa(1) AAS
藤井センセ今日は駄目だったか。次回に期待。
331: 310 2020/07/11(土)00:47 ID:UjRsM2rb(1) AAS
残念だったね＜Ｆ７先生。相当疲れているんじゃないかな。まだ連戦続くので心配。
こちらは棋譜じゃんじゃか追加中。もう逆順探索で正確さを高めるなんて言ってられない。
いちいち遡りチェックするより、分岐を増やしてしまった方が早い気がしてきた。
で、Zebraと対戦させると、まだまだ穴だらけ。Zebraがわざとパブリックドローから外した
ところからが本番の対局となるのですが、そこから１０〜２０手の間に２回くらい間違えて
逆転される感じ。逆にZebraがほとんど間違えていない事に驚いています。評価値は怪しい
ところもあるけど、選択する手のミスが本当に少ない。Zebra２４手読みに変えましたが、
省12
332: 535 2020/07/16(木)19:51 ID:5lwAwdbR(1) AAS
藤井センセええええええええええ！！！
333: 310 2020/07/17(金)13:10 ID:wiyFtChq(1) AAS
王位戦第二局も含めて、ツエーーーーーーーーーー！って、今更ながらに思った。
人間相手ならabemaAI的４０：６０で不利な局面程度はひっくり返せるという事なんだろうなぁ。
あと、木村王位の体育座りが悲しかった。
棋譜作成は、自動作成で一気に大量に貪欲法かけたところ、既存の推定パブリックドロー筋
の４割くらいが、事前の分岐でパブリックドローから外れる事態に（汗
想定からズレた箇所は、見つけ次第ログに書き出して、そこから貪欲法でチェックするの
ですが、それでもパブリックドローから外れる筋については、Zebra使って徹底チェック。
省10
334: 535 2020/07/19(日)18:17 ID:ZoPMvH5f(1) AAS
とりあえず、>>328のAIで棋譜取り始めることにしました。
棋譜取った後の方針はまだあんまり固まってませんが。
335(1): 535 2020/07/20(月)21:59 ID:Jx63yD56(1) AAS
ちょっと寄り道して4x4タイルゲームの最善手順計算してみた。
双方最善で20手で後手勝利みたい。
結構手順長いですね。
336: 535 2020/07/21(火)20:43 ID:bqi5P5mB(1) AAS
あれ、ちがう？
22手かな？
337: 535 2020/07/23(木)21:12 ID:ly3edh17(1) AAS
ふとやねうらおさんのサイトちょっとみてみたら、やっぱレベルたけーんだなって感じ。
338: 535 2020/07/29(水)22:17 ID:X7Evhq9+(1) AAS
さぼりまくってます。
339: 310 2020/07/31(金)00:20 ID:EPRjv06N(1/2) AAS
一括貪欲法を何度か繰り返す事で少し落ち着いてきたみたいで、パブリックドロー候補は
８５０件くらいになりました。
別途、Bookの再構築を速度アップしました。今までは文字通り再構築でしたが、直したい
のはDAGから生じる矛盾の修正だったので、トップから再帰で潜って戻りながら評価値など
を更新する形にして、再構築分の手間を削減しようという目論見です。が、シングルスレッド
でしか動作しないため非常に遅い。最終的に、基本の対称形を一括処理するようにして、
２手目の分岐単位でスレッドを分割して、何とか２０分から５分に短縮できました。
省2
340: 310 2020/07/31(金)00:22 ID:EPRjv06N(2/2) AAS
>>335
タイルゲームの最善手計算凄いですね。
５×５とか６×６にしたらどうなるんでしょうね。
341: 310 2020/08/10(月)01:12 ID:ABN1ddg2(1) AAS
bookの再構築は１分５０秒台まで短縮しました。
３０手読み切りのパブリックドロー候補は９００件超え。
割と淡々と増えているので、ホンマかいなと不安になってきています。
過去にパブリックドローとみなした筋が、パブリックドローを外れた時に、原因となった
着手を追いかけて、間違い箇所探していて、大抵直す事ができるのですが、この新しく
棋譜にした筋の評価値が結構へんてこになっています。Zebraも時々そういう局面が
ありますが、結構遭遇します。おそらく過学習の絞り尻が、棋譜に出現していない局面
省7
342: 535 2020/08/20(木)17:45 ID:g83UO1Ed(1) AAS
2冠とかやば過ぎ
343: 310 2020/09/04(金)16:05 ID:h5QFISg8(1/2) AAS
棋譜数の暴力で１３０万棋譜突破。
Book確認用画面の方で手修正を掛けられるようにして、通常の棋譜作成プログラム
を動かしながら、おかしなBook値のところから後続の棋譜作成を手作業で指示して
修正がかけられるようにしました。最初は１件単位だったのが、縦深型の貪欲法で
チェック掛けられるようになり、処理時間はかかるけど効率よく修正できるようになり
ました。
となると、以前からパブリックドローの可能性が否定できないと思っている筋（Zebraで
省5
344: 310 2020/09/04(金)16:15 ID:h5QFISg8(2/2) AAS
途中で送信しちゃった。
まあ、要するに、色々棋譜作成していたら、現在ドロー候補が１０００件超えました。
FJTは生きてますが、LOGISTELLOは消えました。F5d6C4g5筋がそこそこ充実。
斜め取りはF5f6E6f4G5d6からE3は消えましたが、F3とD7、もしかしたらC5も候補として浮上。
まだ、間違いがあって消える筋もあり、場合によっては２００件単位でボツという事もありえ
ますが、最初は１００件程度から始まった事を思えば、増えたものです。
今はとりあえずリストアップ優先ですが、最後の最後に、ガッツリとチェックの篩にかける
省1
上下前次1-新書関写板覧索設栞歴
あと 292 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.023s