[過去ﾛｸﾞ]
【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
【オセロ,将棋】ボードゲーム Part2【囲碁,War】 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
65: 310 [sage] 2017/11/05(日) 17:50:28.12 ID:BooXEMcV 計算間違い。全部で８０時間くらいだorz http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/65
66: 535 [sage] 2017/11/05(日) 20:13:01.98 ID:BZBdQob/ 畳み込み駄目でしたorz くそ〜ディープラーニングからは一時撤退するか… http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/66
67: 310 [sage] 2017/11/05(日) 23:36:09.29 ID:BooXEMcV ぬがーーーーーーーーーーーー！ バグって、記譜データがすべて上書きされて消えてしまったorz ツリー利用探索のデバッグ用にput処理にエラートラップ仕掛けた時に やっちゃいました。 学習済のデータが残っているのだけが救いだ・・・。 ここから記譜作ると、そこそこ精度が良い記譜になるはずなのが救いだ…。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/67
68: 535 [sage] 2017/11/06(月) 20:40:50.16 ID:opZqsFg1 バックアップ取れしｗ 一回コード全飛ばししてるでしょうに。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/68
69: 535 [sage] 2017/11/06(月) 21:50:55.01 ID:opZqsFg1 アルファ碁Zeroの手法まねできないかなぁ でも論文読んでもわかんねぇだろうなぁ ていうかGoogleがライブラリとして公開してくんねかなぁｗ（他力本願） http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/69
70: 310 [sage] 2017/11/07(火) 15:06:28.24 ID:8EOI4Ksy >>68 おっしゃる通りですorz 評価関数の方は要所要所でコピー残していたのに、記譜はなめてました。 >>69 ライブラリ公開されても、実行できる環境構築の方がハードル高いかなと。 論文はいまだに読んでいませんが、rollout無し（バリューネットに１００％依存） はうまく機能しています。圧倒的にツリー探索性能がアップしているため、評価関数 の精度の低さを、力技でカバーしている感じですが。 とはいえまだ３０手以前の評価値はでたらめに近い状態なので頻繁に間違えます。 強化学習でここまで治るのにどれくらいの時間がかかるのかは不明。後ろの方の 精度が上がらないと、前の方は間違った学習を繰り返すことになりますので。 後ろの方の評価関数がそこそこまともになったので、読み切り処理や遡りチェックの 時間はかなり早くなりました。タイムアウト１時間設定で時々空白３１マスまで遡れる ようになってきています。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/70
71: 535 [sage] 2017/11/09(木) 21:31:59.52 ID:H3GhZh8x とりあえず、ディープラーニングは一時中断します。 囲連星の序盤のDBは非常にうまく動いてるので、 終盤もDBを生かせないか検討中です。 それと同時にLV3 vs LV3の棋譜取も再開しました。 データは多いほどいいので。 あと310さんの遡りチェックというワードが気になってます。 例えば囲連星の終盤DB作るときにどこから勝負ありの状態になったか チェック出来たらどうだろう。とか考えています。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/71
72: 535 [sage] 2017/11/10(金) 23:45:05.32 ID:8vC+UsNi 天頂７買ってみました。 ９段に５子置きで勝てましたが４子で勝つのは相当厳しそう。 天頂６より「あ〜そこ大きそうだよね」ってところを的確に打ってくるみたいです。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/72
73: 535 [sage] 2017/11/12(日) 20:00:47.41 ID:UqBtKmZ3 終盤DBの試作、作ってみましたがあんまり上手く動いてないみたい。 データが終局までの手数しかないのがまずいのかも。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/73
74: 535 [sage] 2017/11/12(日) 21:02:51.28 ID:UqBtKmZ3 将棋電王戦あったみたいですね。 ポナンザは優勝ならずみたいですね。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/74
75: 310 [sage] 2017/11/12(日) 22:19:15.47 ID:Uu7EAeJ9 しばらく出張してました。 終盤DBといえばチェスですかね。 遡りチェックは詰みを回避できるかチェックになるのかなぁ。 オセロだと何にも考えずに終局の石差でやっちゃうので。 言われてみて気付いたけど、ゲームの種類によって結構違う考えが必要なんですね。 最近、藤井四段に触発された友人の影響で将棋を始めました。 負けたくないので、３手詰め問題解いていると、どうやってプログラムしようか とか雑念が沸いてきてしまいます（汗 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/75
76: 310 [sage] 2017/11/12(日) 22:31:15.55 ID:Uu7EAeJ9 MCTSのツリーを使ったオーダリングは、たぶんバグが取れたと思います。 が、なんか別のところで意味不明の動作をして、速度が出せませんorz また、テストの際に半日経っても終了しなかった盤面を使ってしまい、 何度もやり直しをしていたために、強化学習が滞ってしまいました。 これ曲者過ぎるので、今夜一晩解かせてパスしたい。 朝までにとけなかったらどうしよう。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/76
77: 535 [sage] 2017/11/13(月) 23:59:34.34 ID:0hUAGldi 試しにMCTSとか必至ルーチンとか重い処理全部取っ払ってみたけど思ったより弱くならなかった。 思ったよりってだけで弱いことは弱いけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/77
78: 535 [sage] 2017/11/14(火) 00:20:44.53 ID:7RkiqcHt LV1,LV2にも負け越すみたい。 やっぱ弱いわｗ 勝負が十数秒でつくのは面白いけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/78
79: 310 [sage] 2017/11/14(火) 00:31:34.47 ID:ZeqYQGfh 重い局面は６〜７時間くらいかけてクリアしました。 MCTSの速度が出ない問題は、解消というか、原因不明のまま別の方法で回避。 parallel_forの問題かと思っていたけど、shared_ptrの方の問題だったっぽい。 遡りチェックの時、PVは探索せずに、その他の手をチェックしていくので、他の手 にも探索を振り向けたかったのですが、単純に１手先の局面からUCTを実行すると １０万プレイアウトくらいで突然数十秒宇固まったようになって、それを何度も繰り 返す結果、まったくツリー探索が進まないという症状です。UCT探索の方に１回目 だけランダムに着手する関数を作って、そちらを呼び出したところ、固まらなくなり ました。 ようやくまともにツリーをオーダリングに再利用できるようになったのですが、要所 要所で極端に探索が遅くなって、逆に時間がかかります。 今しばらく調査が必要な模様。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/79
80: 535 [sage] 2017/11/14(火) 00:38:47.74 ID:7RkiqcHt 途中経過 70局目 黒(airandom.dll)の勝利回数: 29 白(ai-lv2.dll)の勝利回数: 41 61局目 黒(ai-lv2.dll)の勝利回数: 53 白(airandom.dll)の勝利回数: 8 58局目 黒(airandom.dll)の勝利回数: 18 白(ai-lv1.dll)の勝利回数: 40 46局目 黒(ai-lv1.dll)の勝利回数: 26 白(airandom.dll)の勝利回数: 20 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/80
81: 535 [sage] 2017/11/14(火) 08:46:58.91 ID:7RkiqcHt 途中経過 311局目 黒(airandom.dll)の勝利回数: 97 白(ai-lv2.dll)の勝利回数: 214 275局目 黒(ai-lv2.dll)の勝利回数: 237 白(airandom.dll)の勝利回数: 38 259局目 黒(airandom.dll)の勝利回数: 114 白(ai-lv1.dll)の勝利回数: 145 213局目 黒(ai-lv1.dll)の勝利回数: 144 白(airandom.dll)の勝利回数: 69 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/81
82: 310 [sage] 2017/11/14(火) 23:35:06.48 ID:ZeqYQGfh MCTSのツリーを使用する奴は、どうも挙動が変なのですが原因不明なので後回し。 アルファ碁Zeroでは、強化学習に軽い探索を取り入れたというのを見かけたので、 想像で真似してみる事にしました。 序盤はランダム着手。そこから５手読みの中盤探索を入れて、残り１０手完全読み。 評価関数はValueを使用。たぶん、学習はマシになると思います。 もっと精度が上がったら、３手読みにしてスピードアップしたいです。 今はまだ結構ボロボロなので、これで我慢。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/82
83: 535 [sage] 2017/11/15(水) 00:08:07.85 ID:hR/pxKTk 丸一日回してみました。 1000局くらい軽くいくだろうと思ってたけど意外と時間かかってますね。 これはこの辺にしておきます。 533局目 黒(airandom.dll)の勝利回数: 175 白(ai-lv2.dll)の勝利回数: 358 475局目 黒(ai-lv2.dll)の勝利回数: 407 白(airandom.dll)の勝利回数: 68 450局目 黒(airandom.dll)の勝利回数: 198 白(ai-lv1.dll)の勝利回数: 252 365局目 黒(ai-lv1.dll)の勝利回数: 252 白(airandom.dll)の勝利回数: 113 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/83
84: 310 [sage] 2017/11/17(金) 23:19:33.73 ID:0nQ3gtJu 浅い探索付き強化学習は結構有効に機能しているようです。 学習の速度が明らかに上がったし、精度も良くなっているようで、テスト盤面の 誤差が結構減りました。ただ、そろそろ飽和したか、局所解に入ったような印象。 で、色々考えたあげく、線形回帰ではこの辺が限界かもしれないという事で、 評価関数をmlpにしてみました。valueの方がうまく学習しなかったので、回帰型 ではなくsigmoid出力にして０〜１の数字を石差に変換かけてます。 強化学習は、回帰版の評価関数の結果をそのまま利用してます。 そろそろそこそこ使えそうな誤差になってきたようだし、強化学習は自分に対して 行った方が良いはずなので、全面的にmlpに移行しちゃおうか悩み中。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/84
85: 535 [sage] 2017/11/17(金) 23:58:50.71 ID:8tEb8SWm やっぱ思考時間短いといろいろいいんだよなぁ。 モンテカルロは確かにある程度強さ出せるけど 遅いのどうやって克服していいかわからんし。 悩ましい。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/85
86: 310 [sage] 2017/11/18(土) 20:23:37.47 ID:TwYSqk9E やっぱスピードは万能ですよねぇ。 モンテカルロですが、評価関数ができたら、アルファ碁Zero方式で（汗 緩やかに読み筋を絞り込みながら、有望な手を深読みする形になります。 mlp版を試していますが、中間層を６４にしたら、学習は良いのですが、 モンテカルロが劇遅になりました…。今、中間層８で強化学習していますが、 なんか早々と線形回帰と同様に飽和状態になってしまった模様。 速度的には８が限界な気がする。 途中まで線形回帰の強化学習記譜で学習させていて、同じような癖がついて しまったのかもしれないので、今晩一晩まっさらから学習させてみようかな。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/86
87: 310 [sage] 2017/11/19(日) 15:23:45.94 ID:O7LFJYCP あちゃー。 学習がいまいち変に感じていたのは、これは恥ずかしくて言えないレベルの 仕様ミスでした。あれ？と思って、良く考えずに念のため追加したコードが 数か所。ことごとく悪さしていました。 数日損をしたなぁ。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/87
88: 310 [sage] 2017/11/20(月) 22:18:43.00 ID:/GG7G9SR ぎゃー。 評価関数に入れるデータの変換テーブルに間違い見つけた。 評価関数がいまいち収束しなかったのはこれが原因かも。 もともとの線形回帰版の時代から隠れていたものなので、 線形回帰版も計算し直しです。 というわけで、数日パーどころか１か月単位でパーですorz http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/88
89: 310 [sage] 2017/11/20(月) 22:23:13.40 ID:/GG7G9SR 申し遅れましたが、これにて評価関数は最初から計算しなおしです。 幸い、記譜が６０件＋遡り時の訂正前分１００件ほどの合計１６０件と、 置換表から拾ったものが１０万件単位でありますので、最近得ていた 感触だと、これをベースに強化学習で補えそうだというのが、 唯一の救いです。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/89
90: 535 [sage] 2017/11/21(火) 23:12:52.06 ID:orTiLUyu やっぱアルファ碁ゼロは理想形なんだよなぁ。 全てが理想的すぎる。 まあ必要計算資源があれですが。。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/90
91: 535 [sage] 2017/11/23(木) 19:54:22.22 ID:5nKVQF7K アルファ碁ゼロには興味あるが詳細情報は意外とWebで探すの大変ですね。 かといってネイチャー買うのも金もかかるし読んでも多分理解できないからなぁ。 でも終盤DBとかやってても全然成果あがらなさそうだし生きてて辛い。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/91
92: 535 [sage] 2017/11/23(木) 21:16:22.89 ID:5nKVQF7K 囲碁ソフトにLeela Zeroというオープンなフリーソフトがあるそうな。 何か参考になるだろうか？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/92
93: 310 [sage] 2017/11/23(木) 21:17:40.34 ID:A/JPNP9D アルファ碁ゼロの論文はまだ読んでませんが、アルファ碁の正常進化ですよ。 自分はDeep Learningのところは「しかと」しているので、MCTSの進化形として とらえてみると、まあ想像ですうが、当たり前の事を当たり前にやっただけかなぁ と思っています。 それより大問題が… また、評価関数の入力データ作るための変換に間違いを見つけてしまいました。 前回どころではない大きな間違いで、良くこの評価関数でそこそこ収束していたなぁ というレベルの間違いでした。ソース喪失して書き直していたところから仕込まれて いたんだと言う事で。 なんか入力いい加減でもそこそこな評価関数ができちゃう事にびっくり。 今度こそ大丈夫と信じて・・・ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/93
94: 535 [sage] 2017/11/24(金) 22:55:40.11 ID:QoCCcG2C なんかleela zeroのreadme読んでみたけど、一般人が買えるハードウェアだと アルファ碁zeroの強さを再現するのに1700年トレーニングしなきゃならんとかｗ は〜絶望するわ。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/94
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 908 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.022s