【オセロ,将棋】ボードゲーム【囲碁,War】

[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム【囲碁,War】 (1002ﾚｽ)
上下前次1-新
抽出解除ﾚｽ栞

このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索歴削→次ｽﾚ栞削→次ｽﾚ過去ﾛｸﾞﾒﾆｭｰ

460(48): 2016/08/01(月)12:39 ID:BFi+UVWj(1) AAS
このようなスレがあるとは…
自作でオセロソフトを作成している者です
現在は自己対局による学習中です
初手f5
以降ランダム7手〜8手、
中盤8手読み
中盤で次善手を85%の確率で一手のみ打つ
省11

462: 460 2016/08/02(火)09:44 ID:/HFRnWj4(1) AAS
白の得点が微妙にマイナスに傾いているので9手目までランダムに固定しました。
初手はf5なので8手目までだと白の方がランダム手数多くなってしまうことに気づいて・・・
9手目ランダムだと7手目までの評価値はまともな値にならないのですが、そこはBOOKでどうにかしようかと。
まともな値にならないだけで、互角定石以外に進行したりとかはしないので、とりあえず無視します。

469: 460 2016/08/08(月)01:32 ID:1caSYJwt(1) AAS
PV-LINE(最善の着手リスト)の表示を実装してみました。
PVノードの更新は非常にまれな事象ですが、あまり深い所で表示更新すると
やはり探索速度に影響与えてしまうので、6手目以下の浅いノードで表示更新しています。

あと自己対局棋譜が100万局集まったので、中盤MPCパラメータを作成中です。
現在20手読みのカットペアの計算に入ったところで、これが終われば終盤MPCの実装に入ろうと思います。

472(2): 2016/08/10(水)22:53 ID:BL+f+Yy5(2/2) AAS
>>310はかなりハイレベルだと俺は思ってるが
>>310からみて>>460はいい線行ってるの？

473: 310 2016/08/11(木)23:18 ID:M0iE7EXH(1) AAS
>>472
僕は全然ハイレベルじゃないですよ。
すぐ脱線して役に立たないことばかりやってるだけです。

別スレでお互いのFFOテストの結果を見せっこしたところ、
前半５つで、速度はほぼ同じくらいでした。

>>460さんと情報交換したところ、末端ノードの高速化の
方向性が全く逆だったのが意外でした。

475: 460 2016/08/12(金)02:42 ID:mvQ0iJdF(1/4) AAS
>>472
自分はディープランニングなどの人工知能系はさっぱりなので・・・
310さんはよく勉強されていると思います。

自作オセロですが、今まで32bitで開発していましたが
今ではもう32bitOSを使用する方が稀だと考えて思い切って64bitに移行しました。
探索ノード数がいきなり10〜20%程度上がってビックリしています・・・

476: 460 2016/08/12(金)04:26 ID:mvQ0iJdF(2/4) AAS
あ、探索ノード数ではなく探索速度ですｗ
終盤探索だと10000Knps〜15000Knps程度出せるようになりました。
自分の環境だとWZebraが20000Knpsなので、大幅に負けています・・・
そろそろチューニングも視野に入れつつやっていこうと思います。
まずは探索ノード数を終盤MPCで削減しなくては・・・

477(1): 460 2016/08/12(金)07:59 ID:mvQ0iJdF(3/4) AAS
64ビット移行＋120万局の学習でFFOテストの結果をまとめました。
32ビット＋86万局の学習だと合計が17219.7sだったので36%ほど高速化しています。
シングルスレッド動作なので、将来的にはマルチに移行したいところ・・・

OS:Win10　CPU:i5-6500　キャッシュサイズ:128MB

FFO#40 (a2:+38) 1.04s　FFO#41 (h4: +0) 3.22s
FFO#42 (G2: +6) 4.01s　FFO#43 (G3:-12) 13.10s
FFO#44 (D2:-14) 3.22s　FFO#45 (b2: +6) 58.63s
省8

478: 460 2016/08/12(金)08:01 ID:mvQ0iJdF(4/4) AAS
>>477
FFO#56はH2:+0ではなくH5:+2に訂正です。。

481(1): 460 2016/08/12(金)17:56 ID:wDmYSTDl(1) AAS
シングルスレッドだとトッププログラムですら合計2000秒台と限界があるので、マルチスレッド対応は必須ですよね
ただybwc等の並列化アルゴリズムの理解に時間がかかりそう…

486: 460 2016/08/14(日)16:41 ID:ALD5heTO(1/2) AAS
現在、終盤用MPCパラメータ作成中です。
23手完全読みのカットペアに入っています。24手読みの計算が終わったらいったん実装に入るつもりです。

>>310
YBWCに関して調べましたが、そうみたいですね。
MPCパラメータを作成している間に、なんとなくで適当に実装してみましたが
なぜかエラーで落ちまくりでしたｗ　
排他がかかっていない致命的な箇所があるのか・・・置換表は排他をかけたのですが・・・
省1

487: 460 2016/08/14(日)16:42 ID:ALD5heTO(2/2) AAS
>>310は>>482の間違いです。。

499: 460 2016/08/22(月)08:13 ID:yZES3OuI(1) AAS
終盤MPCを実装完了してFFOを測定してみました。。
残すのはFFO#57のみですが、この時点で9364秒と1万秒を割ってるので
10%程度の高速化は期待できそうです。（評価テーブルは64ビット移行＋120万局から変更なし）

500: 460 2016/08/22(月)09:20 ID:qlwiS2PE(1) AAS
>>496
簡単な実装だと終盤探索は2000万ノード/秒いけますね。
合法手生成が将棋などより速いので。
とはいえ、中盤探索だと色々やるので5000knps程度に落ちてしまってます。

502(2): 460 2016/08/23(火)11:44 ID:sSUGbl7L(1/2) AAS
>>501
終盤探索だと合法手生成は葉ノードの近くでは使わないので、ループや条件分岐を使ったコードでなければアセンブラでなくても速度はそれなりに出ますよ。
こことかが参考になります。
外部ﾘﾝｸ:d.hatena.ne.jp

自分はこんな感じのコードをアセンブラに落として少し改変したものを使ってますー

503: 460 2016/08/23(火)11:47 ID:sSUGbl7L(2/2) AAS
置換表に超大バグがあることに気づき修正したらFFO45が32秒になりました…w
180万局の学習を朝に終えたので今晩再度FFOを測定しようと思います。

508: 460 2016/08/24(水)01:02 ID:elb1k4A2(1/2) AAS
AA省

510(1): 460 2016/08/24(水)14:56 ID:Kkx6VEyM(1) AAS
>>509
学習プログラムのバグはやっかいですよね。
自分も何回ひどい目に遭ったか…
今でもまだありそうな気がして怖いですw

511: 460 2016/08/24(水)22:16 ID:elb1k4A2(2/2) AAS
FFO57をどうにかしようとチューニングをして、なんとかFFO57が1200秒台に縮まりました。
ある程度縮まったので、期待せずにもう一度全部を測定してみると
全体がかなり高速化されていて、FFO55がまさかの3774秒までに縮まりました！（奇跡）
とりあえずこれをオーダリングの暫定最終結果として、次は並列化に手を出してみようと思います。
まずはYBWCアルゴリズムの実装方法の検討から・・・

FFO#40 (a2:+38) 1.05s　FFO#41 (h4: +0) 3.19s
FFO#42 (G2: +6) 2.55s　FFO#43 (G3:-12) 7.82s
省9

513: 460 2016/08/25(木)11:20 ID:PNQVZmVa(1) AAS
そういえばFFOに夢中すぎて中盤の強さ評価を忘れていました。
現在は180万局の学習が終わっていますが、ゼブラ(24手読みBookなし中盤誤差なし)と黒と白で戦い、
それぞれ+8と-2という結果になりました。
完全にBook無しだと、白黒両方とも虎定石からのe3酉定石に分岐するため、
金魚や大量取りなどの主要な引き分けオープニングからの勝率を測定しようと思います。
あとHTML5版のMasterReversiレベル3とも対戦してみましたが、白黒両方とも-2という結果に…orz
Book構築方法もそのうち考えようと思います。

514: 460 2016/08/27(土)00:02 ID:ct+QEGYU(1/3) AAS
学習プログラムのバグが怖くなって見直してたら超大バグを見つけました・・・
パターンモデルのうち、triangle(Thellが用いているモデル)だけが
局面出現数のカウントリセットされておらず延々と増え続けていましたｗ

あと同じ棋譜が結構あり、ダブった棋譜を全て除去すると180万局よりも10%程度減りそうです。
とりあえず除去中の150万局の棋譜でもう一度再学習します・・・orz

515: 460 2016/08/27(土)13:15 ID:ct+QEGYU(2/3) AAS
学習プログラムのバグを直して再学習させたWZebraとの対局結果ですが、芳しくないです。。
棋譜生成で次善手を選ぶ時、打った後の7手読み（対局が8手読みなので）評価値で全ての手をソートしてから
2番目を選んでいるのですが、評価誤差を全く気にせずに選んでいました。
最善手が+10でも次善手が-4とかいう局面も結構あるので、そういった誤差が大きい手を選んでしまうと棋譜の質が低下します。
なので、最善手と次善手との誤差が-2以下の場合のみ次善手を打つようにしました。
その代わり85%で1回打つという処理を単に5%で打つように変えています。
これでなんとか中盤が強くなればいいですが・・・

516: 460 2016/08/27(土)13:18 ID:ct+QEGYU(3/3) AAS
WZebra24手読みBOOK無し評価誤差なしとの対局結果

ゼブラは評価誤差がEdaxやMasterReversiに比べて大きいので、本来負けちゃいけないんですよね。。
実際50万棋譜計画のやつで学習させた場合はほとんど勝っていました。(負けても-8とかはありえない)

牛定石[f5f6d6]

黒持ち：+2
白持ち：+0

酉フック[f5d6c3d3c4f4c5b3c2e3]
省11

523(1): 460 2016/09/04(日)01:59 ID:f4dqEnZp(1/3) AAS
>>520
オセロは今でこそ強いソフト同士の棋譜が手に入りますが、
初期は人が対局した棋譜(ISOなど)を残り十数手のみ修正して学習させていたようです。

マイナーゲームが何かによりますが、オセロみたく終盤で神のような読み切りが出来る場合は
自己対局の教師あり学習で適当なモデルでもかなり強くすることはできるかと思います。

524: 460 2016/09/04(日)02:00 ID:f4dqEnZp(2/3) AAS
レス番号間違えました。。>>523は>>517宛てです。。

525: 460 2016/09/04(日)02:14 ID:f4dqEnZp(3/3) AAS
自己対局中は暇なので、GUIの拡大縮小対応に手を出してみようと思ってドツボにはまりました。。
C#って描画ほんと遅いですね。。フルスクリーンにするとリスケールも含めて150msecぐらいかかります。
1024x768くらいだと50msecなのでギリギリ許容範囲内かなぁ。

あとGUIの実装に合わせて定石の変化度をツールバーから選べるよう実装していたのですが、
変化度を上げると着手時になぜか頻繁に落ちることが判明。
調べると、定石の木構造を作る処理に壮大なバグがあり、
３０万近くある定石のうち１万くらいしか読み込めておらず、
省3

527: 460 2016/09/05(月)19:53 ID:5Av5ahUz(1/2) AAS
そういえば散々オセロソフトを開発しておきながらネット対戦のオセロを一回もやった事ないなと思い・・・
やってみると案外勝ててしまいました。
この形は有利不利とかイメージだけで打っていましたが、、人間のパターン認識も結構優秀ってことですかねｗ

528: 460 2016/09/05(月)20:11 ID:5Av5ahUz(2/2) AAS
>>526
ディープランニングはやはりなかなか曲者のようですな。
こちらも終盤の評価値が悪いところはよく見えて良いところは悪く見えるという平均化が起こっていてやばいです・・・
まずは次善手の割合を調整したのでどうなることやら。。
というかもうランダム数手をやめて、引き分けオープニングからの棋譜生成を重点的にやった方がいいのか考え中です。

533: 460 2016/09/07(水)01:48 ID:UfwPrMcb(1/3) AAS
自己対局ですが、８手読みの２０マス空き完全読み設定だと、２日で大体２０万局終わることが分かりました。
ここまで速いと１０手読みの２２マス空き読みにランクアップしてみたいところ。。
体感だと1/3くらい遅くなっているのですが、２２マス空き読みだと偏りもひどくて、
１〜２日やってみないとなんとも言えない感じです。
２日で７万局程度終えられるなら、それでのんびりやろうかと思います。

534(1): 460 2016/09/07(水)03:02 ID:UfwPrMcb(2/3) AAS
今しがた動かし中ですが、４００局完了まで１６〜１７分でした。
１時間で１４００局程度できそうなので、１か月で１００万局くらい行けそうです。
とりあえずこのまま１００万局集めようと思いますｗ

あと、初手ラムダムをやめて最悪手が数％程度で打つよう、評価値によって着手確率を調整しました。
最悪手の絶対値の１．２倍をそれぞれの評価値に加算した後の総和を使って
それぞれ加算した評価値を除算という古典的な方法ですが・・・
この方法だと絶対値が０に近いと悲惨な事が起こるので、絶対値は＞＝４にしています。

536(1): 460 2016/09/07(水)23:57 ID:UfwPrMcb(3/3) AAS
>>535
とりあえずmm.exe < input.datでコンソールに何が出てきてるか見た方が良いかも。
Cygwinでやるとこんなの出てきました。

$ ./mm < input.dat
..
Games = 2
Feature1 -0.89588 2.44949 0.0285792
省11

539: 460 2016/09/08(木)00:21 ID:LcwQkLYi(1/2) AAS
>>537
input.datは全く編集せずにやりました。
Cygwin64bitだと動くのですが、環境によっては動かないんですかね・・・
gcc-5.4.0でビルドしましたが、コンパイラのバージョンの差異も原因かもです。

540: 460 2016/09/08(木)00:23 ID:LcwQkLYi(2/2) AAS
>>538
動いてよかったです。
最適化が悪さしていましたか。。-O1程度の方がいいかもですね。

541: 460 2016/09/10(土)21:06 ID:FA2ccDEd(1) AAS
>>534の読みを深くさせた自己対局棋譜ですが、１５万程度集まったので
無理やり学習してWZebraと対局させてみたところ、黒持ちで＋１２、白持ちで＋２でした！
次善手や序盤ランダムの考慮と読みを深くした効果が現れてて安心しました。。１００万達成した時の結果が楽しみです。

542(1): 460 2016/09/11(日)09:03 ID:UepiTkRD(1/2) AAS
ついにBOOKの読み込みとアルファベータによる手の選択を実装できました。
まだ最善しか着手できないので、誤差率によるランダム着手も実装しようと思います。
ゼブラのExtra-Bookをそのまま使っているので、ゆくゆくは自力で構築できるシステムを
考えたいところ。。

544: 460 2016/09/11(日)15:25 ID:UepiTkRD(2/2) AAS
>>543
いえ、さすがにそこまでは・・・ｗ
Edaxの作者が完全解析を先行してやってるみたいですし、そこは任せようかなと。
最終的にEdaxやMasterReversiと同等の評価関数やBOOKを作成できるレベルまで持っていきたいです。

546(1): 310 2016/09/12(月)22:52 ID:5hD0Gf9W(1) AAS
>>460さん、着実に進んでいてうらやましい。

自分はというと、だんだんとオセロの事は忘れて、ディープラーニングのプログラムの
確認修正、機能追加に頭がスイッチしちゃってる感じです。むむむ。

C++スキルも微妙に上がってきていますので、オセロ側に戻る時も、もう１回１から
全部コーディングしなおした方が良いかもｗ。ほとんどCの状態から始まって、もう３回
くらい書き直しているので、そんなに時間かからないと思うし。

と、どんどん脱線していくのであった。
省2

553: 460 2016/09/16(金)13:50 ID:gJ0b6G2+(1) AAS
自己対局での棋譜生成ですが、10手読みだとまだまだ精度が落ちるようで、思いきって中盤16手読みの24手読みにしてみたところ…10分で35局…w
今日は出勤時間がせまっていたのもありこのままで生成していますが、
中盤14手読みか12手読み、22マス空き完全読みにした方が良さそうです。

ああ、PC10台くらい並べて棋譜生成したい…

558(1): 460 2016/09/18(日)02:39 ID:6855FAgd(1) AAS
オセロオンラインというアプリに付属されている真・HAYABUSAと対戦してみました。
どうも定石がかなり充実しているようで、普通にやってると
こちら側が記憶していないドロー進行に分岐されて負けます。。
しょうがないので野兎とか序盤から不利な定石に分岐して評価関数の勝負に入らせると、案外勝てましたｗ
評価チューニングがEdaxなどに比べると結構甘いようです。
とはいえ国産アプリでここまでチューニングされているとは思わなかったので驚いています。

563: 460 2016/09/22(木)13:08 ID:aLXK2a2e(1) AAS
>>561
ほとんど考えずに打ってくるので、もしやと思い定石からわざと外してみたらいきなり１０秒超の長考でした・・・ｗ
本当にBOOKの精度がEdaxよりちょっと良いのでしょうね（逆に言うとそれだけ）
開発期間が短期間って制限があったらしいので、しょうがないのでしょうけどもったいない気もします。

571: 460 2016/10/01(土)15:19 ID:NwASWJgd(1) AAS
>>570
オセロしか開発したことがないのですが、connect4のノード数だと4兆程度だと聞きました。
オセロよりも合法手生成が簡単かつ常に7つなので、相当早い段階から完全読み出来そうです。
現在のAI同士を戦わせて数千から1万局程度の棋譜を作成すれば、
簡単なモデル（縦横斜めだけとか）でほぼ完ぺきな評価関数が線形回帰で
出来そうな気がするのですが、どうでしょうか。

574: 460 2016/10/02(日)00:33 ID:jNeryq9p(1/2) AAS
>>572
完全読みは深くすればするほど線形回帰で有利になってくるのでオススメです。
オセロでも20手読みの棋譜と22手読みの棋譜では2手違いなのに強さが段違いでしたので・・・

577: 460 2016/10/02(日)04:03 ID:jNeryq9p(2/2) AAS
>>576
オーダリングはしてますか？オーダリング無しだと20手は厳しいと思います。
オセロは最後あたりだと数マスしか無くなるので合法手が1手しかないとかも頻出するのですが
connect4は最後まで７つあるので、20手はちょっと難しいかもですね。。

587: 460 2016/10/04(火)00:53 ID:OTRn7xTU(1) AAS
コネクト４、軽く実装してみましたが（ほとんどオセロの流用）
単純アルファベータ、置換無しオーダリング無し、
評価関数が連続している数だけ考慮・・・だと8手読みは一瞬ですが、12手読みはすでにきついですね。。
明日評価関数を詰めてみてとりあえず8手読みで535さんのAIと対戦してみる予定ですｗ

589(1): 460 2016/10/05(水)00:36 ID:JvSO0BT6(1/2) AAS
>>588
結果ですが、ぼこぼこにされましたｗ
ヒューリスティックだとやはり限界ありますね〜

590(3): 460 2016/10/05(水)11:21 ID:WWXbBFqc(1) AAS
オセロは大体やることはやったので、そろそろ将棋か囲碁に着手してみようかと思っています。
ルールの実装が楽なのは囲碁なのかな…
自身が囲碁を打ったことがないのでルールから調べないとですがw

594: 460 2016/10/05(水)21:34 ID:JvSO0BT6(2/2) AAS
>>592
同一ですよ！
スマホから書き込んだのでID変わってしまいました

598(2): 460 2016/10/06(木)20:28 ID:1mBat3Ee(1) AAS
460の名前があるものは偽物ではないので大丈夫です・・・
コテ付けた方がいいかもですけど、まぁこの人数ですし、そこまでする必要もないかなと思いますー

囲碁ですが、ネットから集めた棋譜をざっと見てみましたが、投了がほとんどなんですね・・・
中押し勝ち？はて・・・？となって調べるくらいルールを理解していないという；；
投了だとするとロジスティック回帰でないとあんまり良い精度は出なさそう・・・？
というより一般的な機械学習のアプローチで良いのかも微妙ですね。
やはりディープランニングなのでしょうか。。。腰が引けますｗ

667: 310 2016/11/23(水)23:37 ID:wq9OFZ+n(1) AAS
うむぅ。アルファ碁があるから期待高いけど、互先で１勝したのは凄いよね。
まだ伸びしろありそうだから、次回に期待ですね。

こちらは、モンテカルロがあまりにダメダメで悩み中です。

煮詰まってしまったので、ツリー並列をきちんと実装したり、終盤探索作ったりしてました。
終盤探索は、ようやく>>460さん指摘の偶数理論を実装しました。どうやるのかなかなか
思いつかなかったけど、手を動かしだしたらわかるものですね。Zebraとかのソース見て
いないので、もっと良いやり方があるかも知れませんが。

上下前次1-新書関写板覧索設栞歴

ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 1.940s*