[過去ﾛｸﾞ]
【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
【オセロ,将棋】ボードゲーム Part2【囲碁,War】 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
333: 名前は開発中のものです。 [sage] 2018/04/20(金) 23:03:29.26 ID:1YRRGto3 あるいは一線や二線は打たないほうがいいと学習してしまっているがため、７連を作れないのだろうか？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/333
334: 310 [sage] 2018/04/21(土) 20:32:42.81 ID:AdkW58BW オセロは記譜生成させてるだけで暇なので、将棋の事を考えてました。 KKPとかよくわからないし、同じ事をやってもつまらないので、利きを点数化 しようかと考えてみまして、実際の計算方法を考えていたら、自玉周辺と 相手玉に対する利きがKKPなのではないかと思い至ってしまいました。 持ち駒の点数は駒種毎に固定で振られていて、駒同士のぶつかりによる優劣 特に駒交換はmin-Maxにて補間しているのかなと。評価関数自体は意外と単純 な事しか学習していない感じで、探索で補っている部分が大きいように感じます。 こうやって見ると、上手く単純化しているなぁと。 自分で勝手に想像した内容に感心してしまいました。 ただ、これならこれで、自玉KPと相手玉KPの合算で、２駒関係に次元を落とせ そうではないかと思ってしまいました。まあ、無理なんでしょうけど。 自分がやる上での一番のネックは、オセロの評価関数が点数だったために、 なんちゃって強化学習しかやった事がな点ですね。あと、みなさんライブラリ化 されていて、それに則れば色々な人の考えた高速化・高効率化のネタが利用 できる点で、一から車輪の再発明していては追い付けないよなぁと。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/334
335: 535 [sage] 2018/04/21(土) 20:39:59.86 ID:8g8p+RpI ほう、将棋に進出ですか。 将棋AI界はオープンソースが進んでる感じなんですかね。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/335
336: 535 [sage] 2018/04/21(土) 20:50:54.10 ID:8g8p+RpI alpha zero のパクりプログラムgithubから丸パクしてきたわけだけど そろそろちゃんとソース読み解いてみようかな。難しいだろうけど 丁寧な解説がどこかにあればいいんだけどね http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/336
337: 535 [sage] 2018/04/22(日) 17:35:27.70 ID:QOhFsFyf お、AIが７作った。 いままではわざと負けようとしても勝ってくれなかったけど今回は勝ってくれた。 まだまだ弱いけどもっと学習させてみよう http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/337
338: 535 [sage] 2018/04/22(日) 19:13:47.98 ID:QOhFsFyf 俺も学習見守るだけで暇になっちゃったからなんか始めたいけど 計算リソースが学習にもってかれちゃってるからそこどうするか。 やっぱPC新調か？ グラボも効果あるみたいだし今度はGeforce 1080 Tiとか試してみたいな。 金がないけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/338
339: 310 [sage] 2018/04/22(日) 19:48:13.41 ID:wf3ukgDl だよね。自分も脳内妄想で我慢です。 PC新調しちゃうか思いっきり悩み中。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/339
340: 535 [sage] 2018/04/25(水) 20:09:35.29 ID:QZIUF0Ri もっとネットワーク大きくしてみたいな。 でもさらに学習時間がかかると思うと躊躇する。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/340
341: 535 [sage] 2018/04/27(金) 21:32:10.80 ID:b1G/gV5U お、損失が３点台だったのが２点台になった。 いい感じなんじゃないでしょうか？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/341
342: 535 [sage] 2018/04/28(土) 17:38:12.12 ID:MUOfiFNK ジムケラーがインテルに来たとか。 いいCPU作ってくれるならどこでもいいけどね。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/342
343: 535 [sage] 2018/04/29(日) 20:30:57.65 ID:mX318X6T 序盤は素晴らしい棋理の芽生えを感じるが、いかんせん終盤がなぁ ほかのアルファゼロクローンも似たような感じなのだろうか？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/343
344: 535 [sage] 2018/04/29(日) 20:50:13.18 ID:mX318X6T 公式AIともやってみたけど序盤センスは互角以上と感じられる。 実際、必至をかける一歩手前まで行った。 終盤力さえ磨かれればおそらく公式AI越えはある。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/344
345: 535 [sage] 2018/04/30(月) 22:51:47.16 ID:qAJqtYoj 学習が1000エピソード突破。 1500が規定値だから最後まで回したいな。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/345
346: 535 [sage] 2018/05/01(火) 21:34:25.66 ID:bYHVWZMu もっとパワー、速度が欲しいな。 こんなことなら最初から1080 Ti いっときゃ良かったかな？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/346
347: 535 [sage] 2018/05/03(木) 10:58:16.57 ID:gNd8xJ5s ちょっと思うところがあって、思い切ってネットワーク大きくしてみました。 学習最初からやり直しです。 さて吉と出るか凶とでるか。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/347
348: 535 [sage] 2018/05/03(木) 13:28:58.30 ID:gNd8xJ5s ん、ネットワーク構成変えたら学習率もいじらないと上手くいかないのか？ ネットワークでかくしたら学習率は大きくすればいいのか小さくすればいいのか… http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/348
349: 535 [sage] 2018/05/03(木) 13:42:41.42 ID:gNd8xJ5s ネットワークでかくしたら学習率は小さくするのがいいみたい？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/349
350: 310 [sage] 2018/05/03(木) 20:31:46.75 ID:EAR7zekO なんか順調でうらやましい。 俺もやっぱGPU付きのPC買うべかな。 一般的にLRでは、学習率は発散しない限界まで大きくするのが良いらしく、 昔は、最初大きく、試行回数増えるごとにだんだん小さくみたいな事をしてました。 NNではRMSPropとかADAMとかで自動調整する流れだと当時理解していました。 ただ、Googleの論文読むと、普通に学習率固定っぽく読めてしまうんですよね。 強化学習だと学習率固定が良いのかも知れません。 表現力大きいからあんまり問題ない気がするのですが、学習率は小さくすると 学習に時間がかかる代わりに、収束しやすくなります。局所解には陥りやすく なるのではないかと愚考しますが、強化学習における局所解と、教師付学習に おける局所解は現象が違うから、よくわかりません。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/350
351: 310 [sage] 2018/05/03(木) 20:37:19.91 ID:EAR7zekO こちら、例によってひたすら分岐付き記譜を作成しています。 空きマス２７の所（完全読みとしては２６）のところから、計算時間が案の定すごく かかるようになってしまって、遅々として進まなくなりました。 最後の手段でとっておいた、UCT探索で仮PV作成し、それでmtd(f)にて評価値を 迅速に確定して、その評価値で正しいPVを求めるという流れにしたところ、恐らく 数倍程度に高速化され、それによって記譜が集まり正確になる事で、評価関数の 精度が上がって、仮PVが正確になりという好循環に、ようやく入る事ができました。 ただ、それでもまだ時間はかかるというか、今空きマス２８まで持っていったら、 また時間がかかる地獄に入りそう。最低でも空きマス３０までは持っていきたい。 つか、待っている時間が長い…セカンドPCが欲しい。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/351
352: 310 [sage] 2018/05/03(木) 20:41:41.51 ID:EAR7zekO >>351 ＞数倍程度に高速化され あくまで仮PVが数手分合っている時の話で、仮PVが間違っていると、 むしろ遅くなる可能性があります。 あと、一つの局面に対し、最善手が複数あるケースでは、例えば最善手 が２つあると２倍程度時間がかかるという問題があるのは認識していて、 対策は可能なのですが、そうするとバグった時にβカットのエラーを吐か ないという恐ろしい状態になってしまうので躊躇しています。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/352
353: 310 [sage] 2018/05/04(金) 19:57:24.12 ID:5CQB8Di3 世界コンピュータ将棋選手権の２次予選までで強さをみせつけている T.N.K（通称たぬき）ですが、DL勢にして高速評価関数という事なので アピール文書を見てみました。 これ、CNNではなく、全結合のDeep Networkの模様。追加で論文も 出ているので、見たところ５層のMLPです。 入力層に玉との２駒関係を使っていて、そこは計算量が多いので、 ここだけ差分計算で高速化しているとの事。自分は行列をEigenに 任せちゃってるので差分計算していませんが、オセロでも結構使え るはず。 もう一度オセロをMLPに拡張したくなってきた（汗 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/353
354: 535 [sage] 2018/05/07(月) 20:19:04.83 ID:m+uVPKyG ネットワーク大きくすると学習が収束する確率下がるんですかね？ なんか学習がうまく進んでないようです。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/354
355: 535 [sage] 2018/05/08(火) 00:21:37.96 ID:VKk6NsC2 もしかして学習率だけでなく、ほかのパラメータにも手を加えなければならないってことですかね？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/355
356: 310 [sage] 2018/05/08(火) 01:01:09.30 ID:6noaUyVY バックプロパゲーションで計算している以上、深さが深くなると、 その分初段まで誤差を遡らせるのに時間がかかるから、収束が 遅くなって当然かと思います。 あと、初期値のランダム値の幅も、適切に設定しないとなかなか 収束しなくなりますし、それでも初期値の運が悪いとまったく収束 しないなんて事もあり、ちょこっと不安定なところがあります。 XavierとかHeとか初期値の設定項目はありませんか？ 本で読んだ知識なので、現実にどれくらい影響するのか良くわかりませんが（＾＾； http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/356
357: 535 [sage] 2018/05/08(火) 19:21:19.88 ID:3yhYJr6O おお、ありがとうございます。 しらべてみます。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/357
358: 535 [sage] 2018/05/09(水) 21:58:37.29 ID:53SriW94 パソコン壊れたかと思ったが放電したらなおった あー怖かったTT http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/358
359: 535 [sage] 2018/05/10(木) 20:05:15.86 ID:X+P+UxO/ 学習率の変動率？を下げたら結構うまく動いてるっぽいです。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/359
360: 535 [sage] 2018/05/11(金) 20:15:31.62 ID:TPpBGuAT loss とか entropyはいい感じに減ってるのに自己対局の結果がついてこないですね。 うーん、なんだろう？ http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/360
361: 535 [sage] 2018/05/12(土) 17:16:50.40 ID:UY4N1vvW いや、自己対局もちょっとづつ改善してるみたいです。 もっと時間が必要かな。 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/361
362: 535 [sage] 2018/05/13(日) 18:33:11.99 ID:jNzVm6ts windowsがたまに夜中に勝手に再起動してしまうんだが？ マジむかつく（怒 http://mevius.5ch.net/test/read.cgi/gamedev/1508056498/362
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 640 ﾚｽあります
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.013s