[過去ﾛｸﾞ]
【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
【オセロ,将棋】ボードゲーム Part2【囲碁,War】 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
81: 535 [sage] 2017/11/14(火) 08:46:58.91 ID:7RkiqcHt 途中経過 311局目 黒(airandom.dll)の勝利回数: 97 白(ai-lv2.dll)の勝利回数: 214 275局目 黒(ai-lv2.dll)の勝利回数: 237 白(airandom.dll)の勝利回数: 38 259局目 黒(airandom.dll)の勝利回数: 114 白(ai-lv1.dll)の勝利回数: 145 213局目 黒(ai-lv1.dll)の勝利回数: 144 白(airandom.dll)の勝利回数: 69 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/81
82: 310 [sage] 2017/11/14(火) 23:35:06.48 ID:ZeqYQGfh MCTSのツリーを使用する奴は、どうも挙動が変なのですが原因不明なので後回し。 アルファ碁Zeroでは、強化学習に軽い探索を取り入れたというのを見かけたので、 想像で真似してみる事にしました。 序盤はランダム着手。そこから５手読みの中盤探索を入れて、残り１０手完全読み。 評価関数はValueを使用。たぶん、学習はマシになると思います。 もっと精度が上がったら、３手読みにしてスピードアップしたいです。 今はまだ結構ボロボロなので、これで我慢。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/82
83: 535 [sage] 2017/11/15(水) 00:08:07.85 ID:hR/pxKTk 丸一日回してみました。 1000局くらい軽くいくだろうと思ってたけど意外と時間かかってますね。 これはこの辺にしておきます。 533局目 黒(airandom.dll)の勝利回数: 175 白(ai-lv2.dll)の勝利回数: 358 475局目 黒(ai-lv2.dll)の勝利回数: 407 白(airandom.dll)の勝利回数: 68 450局目 黒(airandom.dll)の勝利回数: 198 白(ai-lv1.dll)の勝利回数: 252 365局目 黒(ai-lv1.dll)の勝利回数: 252 白(airandom.dll)の勝利回数: 113 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/83
84: 310 [sage] 2017/11/17(金) 23:19:33.73 ID:0nQ3gtJu 浅い探索付き強化学習は結構有効に機能しているようです。 学習の速度が明らかに上がったし、精度も良くなっているようで、テスト盤面の 誤差が結構減りました。ただ、そろそろ飽和したか、局所解に入ったような印象。 で、色々考えたあげく、線形回帰ではこの辺が限界かもしれないという事で、 評価関数をmlpにしてみました。valueの方がうまく学習しなかったので、回帰型 ではなくsigmoid出力にして０〜１の数字を石差に変換かけてます。 強化学習は、回帰版の評価関数の結果をそのまま利用してます。 そろそろそこそこ使えそうな誤差になってきたようだし、強化学習は自分に対して 行った方が良いはずなので、全面的にmlpに移行しちゃおうか悩み中。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/84
85: 535 [sage] 2017/11/17(金) 23:58:50.71 ID:8tEb8SWm やっぱ思考時間短いといろいろいいんだよなぁ。 モンテカルロは確かにある程度強さ出せるけど 遅いのどうやって克服していいかわからんし。 悩ましい。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/85
86: 310 [sage] 2017/11/18(土) 20:23:37.47 ID:TwYSqk9E やっぱスピードは万能ですよねぇ。 モンテカルロですが、評価関数ができたら、アルファ碁Zero方式で（汗 緩やかに読み筋を絞り込みながら、有望な手を深読みする形になります。 mlp版を試していますが、中間層を６４にしたら、学習は良いのですが、 モンテカルロが劇遅になりました…。今、中間層８で強化学習していますが、 なんか早々と線形回帰と同様に飽和状態になってしまった模様。 速度的には８が限界な気がする。 途中まで線形回帰の強化学習記譜で学習させていて、同じような癖がついて しまったのかもしれないので、今晩一晩まっさらから学習させてみようかな。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/86
87: 310 [sage] 2017/11/19(日) 15:23:45.94 ID:O7LFJYCP あちゃー。 学習がいまいち変に感じていたのは、これは恥ずかしくて言えないレベルの 仕様ミスでした。あれ？と思って、良く考えずに念のため追加したコードが 数か所。ことごとく悪さしていました。 数日損をしたなぁ。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/87
88: 310 [sage] 2017/11/20(月) 22:18:43.00 ID:/GG7G9SR ぎゃー。 評価関数に入れるデータの変換テーブルに間違い見つけた。 評価関数がいまいち収束しなかったのはこれが原因かも。 もともとの線形回帰版の時代から隠れていたものなので、 線形回帰版も計算し直しです。 というわけで、数日パーどころか１か月単位でパーですorz http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/88
89: 310 [sage] 2017/11/20(月) 22:23:13.40 ID:/GG7G9SR 申し遅れましたが、これにて評価関数は最初から計算しなおしです。 幸い、記譜が６０件＋遡り時の訂正前分１００件ほどの合計１６０件と、 置換表から拾ったものが１０万件単位でありますので、最近得ていた 感触だと、これをベースに強化学習で補えそうだというのが、 唯一の救いです。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/89
90: 535 [sage] 2017/11/21(火) 23:12:52.06 ID:orTiLUyu やっぱアルファ碁ゼロは理想形なんだよなぁ。 全てが理想的すぎる。 まあ必要計算資源があれですが。。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/90
91: 535 [sage] 2017/11/23(木) 19:54:22.22 ID:5nKVQF7K アルファ碁ゼロには興味あるが詳細情報は意外とWebで探すの大変ですね。 かといってネイチャー買うのも金もかかるし読んでも多分理解できないからなぁ。 でも終盤DBとかやってても全然成果あがらなさそうだし生きてて辛い。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/91
92: 535 [sage] 2017/11/23(木) 21:16:22.89 ID:5nKVQF7K 囲碁ソフトにLeela Zeroというオープンなフリーソフトがあるそうな。 何か参考になるだろうか？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/92
93: 310 [sage] 2017/11/23(木) 21:17:40.34 ID:A/JPNP9D アルファ碁ゼロの論文はまだ読んでませんが、アルファ碁の正常進化ですよ。 自分はDeep Learningのところは「しかと」しているので、MCTSの進化形として とらえてみると、まあ想像ですうが、当たり前の事を当たり前にやっただけかなぁ と思っています。 それより大問題が… また、評価関数の入力データ作るための変換に間違いを見つけてしまいました。 前回どころではない大きな間違いで、良くこの評価関数でそこそこ収束していたなぁ というレベルの間違いでした。ソース喪失して書き直していたところから仕込まれて いたんだと言う事で。 なんか入力いい加減でもそこそこな評価関数ができちゃう事にびっくり。 今度こそ大丈夫と信じて・・・ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/93
94: 535 [sage] 2017/11/24(金) 22:55:40.11 ID:QoCCcG2C なんかleela zeroのreadme読んでみたけど、一般人が買えるハードウェアだと アルファ碁zeroの強さを再現するのに1700年トレーニングしなきゃならんとかｗ は〜絶望するわ。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/94
95: 535 [sage] 2017/11/24(金) 23:04:07.44 ID:QoCCcG2C 結局、仮に大金つっこんでスレッドリッパーとか買ったとしても到底無理ってことじゃん。 まあ、まったくの無駄になるとは思わないけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/95
96: 535 [sage] 2017/11/24(金) 23:04:57.72 ID:QoCCcG2C なんかIDにCがいっぱいあるな。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/96
97: 310 [sage] 2017/11/25(土) 00:38:47.57 ID:Dx7Nr2Ji もういっちょ間違い発見orz ソース喪失後焦って数日でパーッと書いて、そのまま学習させて、そこそこ 収束していたから放置していたのを思い出してきた。今度は全部チェックした。 しかし、いい加減な評価関数でも、結構収束していたってのが凄いな。 そこはかとなく表現力不足を感じていたのはその辺が原因かなぁ。 記譜と置換表データで１から学習させるのに、一気に５００回学習させたら、 思いっきり過学習になってしまった。現在、強化学習で解きほぐし中。 回帰の方はほぼほぐれたけど、MLPの方はまだ時間がかかりそう。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/97
98: 310 [sage] 2017/11/25(土) 00:54:30.38 ID:Dx7Nr2Ji >>95 某スレをウォッチしていたら、前から気になっていた事を指摘していた人がいた。 スレッドリッパーはAVX2命令の中に遅いものがあって、一つ下のインテルの奴の 方が、この手の計算は速いらしい。 あと、GPUをどう使うかだね。 けど学習だけならTensor Flowにやらせちゃえばよいのだろうけど、学習データを 使うところまで行ったら、GPU使った非同期並列処理とか考えなきゃならないし。 CUDAだっけ？GPU専用にコード書かないといけないし。 なんか道筋というか、そこまでやってる自分の姿がイメージしきれない（汗 その前に詰将棋を解くプログラム開発してそう（笑） http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/98
99: 535 [sage] 2017/11/25(土) 01:01:08.99 ID:ekS5f4AB 某スレってどこですか？ GPGPUはもうちょっとハードル下がってほしいですねぇ CPUよりも何十倍も速くなるケースもあるらしいし興味ありますね CUDAをごりごり書くのは難しそうですがライブラリとかに期待。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/99
100: 310 [sage] 2017/11/25(土) 01:26:03.49 ID:Dx7Nr2Ji コンピュータ囲碁か何かのスレです この１か月くらいのカキこのどこかにありました（汗 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/100
101: 535 [sage] 2017/11/25(土) 23:11:08.18 ID:ekS5f4AB ちょっと目先を変えて９路囲連星やってみようかな。 ９路なら序盤DBだけで押し切れそうな気がするｗ。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/101
102: 535 [sage] 2017/11/25(土) 23:33:24.64 ID:ekS5f4AB 310さんみたいに既存コード全捨てでやってみようかなぁ？ もう一度まっさらな気持ちになって… http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/102
103: 535 [sage] 2017/11/25(土) 23:53:52.98 ID:ekS5f4AB まっさらな状態から書いてみようとしたけど、 めんどくさくなってすぐ昔のコード確認しちゃうｗ 駄目すぎるｗ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/103
104: 310 [sage] 2017/11/26(日) 13:10:07.09 ID:kav93n5u ソース喪失以外の時は、結構コピペしていますよｗ 書き直しの時は、たいていあちこちで使用しているクラスの構造変え たりする類の後戻りが難しい変更加える時なので、中の関数は一緒です（汗 新しい評価関数は、だいぶ落ち着いてきましたが、遡り２８手くらい でタイムアウトになります。並べ替えに使っているので精度が上がる と速度が速くなるのです。前は２９手、調子が良い時は３０手くらい まで行っていたので、まだ精度が追い付いていないみたいです。 これでしばらく強化学習の具合見ながら待つだけになっちゃいました。 ５×５の囲碁くらいならCNNで評価関数作れないかなぁとか、詰将棋を 作るならBitboardを２バイトに拡張しなきゃとか、悪い虫が疼き始めて います。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/104
105: 535 [sage] 2017/11/26(日) 21:08:25.02 ID:wxjv7tgm 後のコード書きやすいように柔軟性のある設計にするかゴリゴリの最適化を目指すか悩み中ｗ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/105
106: 535 [sage] 2017/11/26(日) 21:53:28.37 ID:wxjv7tgm ああ、最適化の誘惑に駆られるｗ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/106
107: 310 [sage] 2017/11/26(日) 22:28:47.97 ID:kav93n5u 僕が読んだ本では、 最適化するな。アルゴリズムを考えろ。 アルゴリズムなら桁単位で速度アップし、過去に行った最適化は無駄になる。 と言うよな事がトップに書いてあって、それ以来（自分の）読みやすさ優先にしている。 BITBOARDのAVX2命令とか、その辺でいくつかの関数のみ、ゴリゴリにしている。 とはいえ、その辺も一応アルゴリズムの範疇かなぁ。 演算子のオーバーロードとか関数で隠ぺいしているしね。 問題は、最初にクラスの構造とかあんまり考えてないので、あとでごちゃごちゃに なってしまう事。それで何度か書き直ししている。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/107
108: 535 [sage] 2017/11/26(日) 22:35:57.72 ID:wxjv7tgm まあ、そのセオリーは私もどこかで聞いたことありますがｗ アルゴリズムでの改善が行き詰まると結局泥臭い最適化に手を出すことにｗｗ すでに一回実装したことのあるプログラムだしある程度勘所というか見通しは立つかなーと http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/108
109: 535 [sage] 2017/11/27(月) 23:15:23.55 ID:jINzvSI7 勢いでコード書きなおしてるけどテストするのが面倒くさいｗ 言ってもしょうがないけどｗ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/109
110: 310 [sage] 2017/12/01(金) 20:29:48.04 ID:ONM9KZwZ またしても問題発覚。 タイムアウトなどでキャンセルしたとき、探索途中の中途半端な評価値の置換表 が作成されている模様。対象の特定はできないため、置換表データをいったん 削除して、全データに対して再度遡りチェックを実施する事で、置換表データを 再作成する事にしました。 むむむ。 評価関数はそれなりの精度になっているので、それなりの速度ではチェックできる はずですが、またしても…って感じでがっかりです。 同一評価値で変化がある分、記譜は多少は膨れるはずなので、そちらに期待。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/110
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 892 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.017s