[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
346: 535 2018/05/01(火)21:34 ID:bYHVWZMu(1) AAS
もっとパワー、速度が欲しいな。
こんなことなら最初から1080 Ti いっときゃ良かったかな？
347: 535 2018/05/03(木)10:58 ID:gNd8xJ5s(1/3) AAS
ちょっと思うところがあって、思い切ってネットワーク大きくしてみました。
学習最初からやり直しです。
さて吉と出るか凶とでるか。
348: 535 2018/05/03(木)13:28 ID:gNd8xJ5s(2/3) AAS
ん、ネットワーク構成変えたら学習率もいじらないと上手くいかないのか？
ネットワークでかくしたら学習率は大きくすればいいのか小さくすればいいのか…
349: 535 2018/05/03(木)13:42 ID:gNd8xJ5s(3/3) AAS
ネットワークでかくしたら学習率は小さくするのがいいみたい？
350: 310 2018/05/03(木)20:31 ID:EAR7zekO(1/3) AAS
なんか順調でうらやましい。
俺もやっぱGPU付きのPC買うべかな。
一般的にLRでは、学習率は発散しない限界まで大きくするのが良いらしく、
昔は、最初大きく、試行回数増えるごとにだんだん小さくみたいな事をしてました。
NNではRMSPropとかADAMとかで自動調整する流れだと当時理解していました。
ただ、Googleの論文読むと、普通に学習率固定っぽく読めてしまうんですよね。
強化学習だと学習率固定が良いのかも知れません。
表現力大きいからあんまり問題ない気がするのですが、学習率は小さくすると
学習に時間がかかる代わりに、収束しやすくなります。局所解には陥りやすく
なるのではないかと愚考しますが、強化学習における局所解と、教師付学習に
おける局所解は現象が違うから、よくわかりません。
351(1): 310 2018/05/03(木)20:37 ID:EAR7zekO(2/3) AAS
こちら、例によってひたすら分岐付き記譜を作成しています。
空きマス２７の所（完全読みとしては２６）のところから、計算時間が案の定すごく
かかるようになってしまって、遅々として進まなくなりました。
最後の手段でとっておいた、UCT探索で仮PV作成し、それでmtd(f)にて評価値を
迅速に確定して、その評価値で正しいPVを求めるという流れにしたところ、恐らく
数倍程度に高速化され、それによって記譜が集まり正確になる事で、評価関数の
精度が上がって、仮PVが正確になりという好循環に、ようやく入る事ができました。
ただ、それでもまだ時間はかかるというか、今空きマス２８まで持っていったら、
また時間がかかる地獄に入りそう。最低でも空きマス３０までは持っていきたい。
つか、待っている時間が長い…セカンドPCが欲しい。
352: 310 2018/05/03(木)20:41 ID:EAR7zekO(3/3) AAS
>>351
＞数倍程度に高速化され
あくまで仮PVが数手分合っている時の話で、仮PVが間違っていると、
むしろ遅くなる可能性があります。
あと、一つの局面に対し、最善手が複数あるケースでは、例えば最善手
が２つあると２倍程度時間がかかるという問題があるのは認識していて、
対策は可能なのですが、そうするとバグった時にβカットのエラーを吐か
ないという恐ろしい状態になってしまうので躊躇しています。
353: 310 2018/05/04(金)19:57 ID:5CQB8Di3(1) AAS
世界コンピュータ将棋選手権の２次予選までで強さをみせつけている
T.N.K（通称たぬき）ですが、DL勢にして高速評価関数という事なので
アピール文書を見てみました。
これ、CNNではなく、全結合のDeep Networkの模様。追加で論文も
出ているので、見たところ５層のMLPです。
入力層に玉との２駒関係を使っていて、そこは計算量が多いので、
ここだけ差分計算で高速化しているとの事。自分は行列をEigenに
任せちゃってるので差分計算していませんが、オセロでも結構使え
るはず。
もう一度オセロをMLPに拡張したくなってきた（汗
354: 535 2018/05/07(月)20:19 ID:m+uVPKyG(1) AAS
ネットワーク大きくすると学習が収束する確率下がるんですかね？
なんか学習がうまく進んでないようです。
355: 535 2018/05/08(火)00:21 ID:VKk6NsC2(1) AAS
もしかして学習率だけでなく、ほかのパラメータにも手を加えなければならないってことですかね？
356: 310 2018/05/08(火)01:01 ID:6noaUyVY(1) AAS
バックプロパゲーションで計算している以上、深さが深くなると、
その分初段まで誤差を遡らせるのに時間がかかるから、収束が
遅くなって当然かと思います。
あと、初期値のランダム値の幅も、適切に設定しないとなかなか
収束しなくなりますし、それでも初期値の運が悪いとまったく収束
しないなんて事もあり、ちょこっと不安定なところがあります。
XavierとかHeとか初期値の設定項目はありませんか？
本で読んだ知識なので、現実にどれくらい影響するのか良くわかりませんが（＾＾；
357: 535 2018/05/08(火)19:21 ID:3yhYJr6O(1) AAS
おお、ありがとうございます。
しらべてみます。
358: 535 2018/05/09(水)21:58 ID:53SriW94(1) AAS
パソコン壊れたかと思ったが放電したらなおった
あー怖かったTT
359: 535 2018/05/10(木)20:05 ID:X+P+UxO/(1) AAS
学習率の変動率？を下げたら結構うまく動いてるっぽいです。
360: 535 2018/05/11(金)20:15 ID:TPpBGuAT(1) AAS
loss とか entropyはいい感じに減ってるのに自己対局の結果がついてこないですね。
うーん、なんだろう？
361: 535 2018/05/12(土)17:16 ID:UY4N1vvW(1) AAS
いや、自己対局もちょっとづつ改善してるみたいです。
もっと時間が必要かな。
362: 535 2018/05/13(日)18:33 ID:jNzVm6ts(1) AAS
windowsがたまに夜中に勝手に再起動してしまうんだが？
マジむかつく（怒
363: 310 2018/05/13(日)19:53 ID:i+O998yE(1) AAS
Windows Updateかな？
俺は通知もらうだけにして、タイミング見て自分で再起動かけてる。
まあ、２４時間経つとカウントダウンが始まるので、早目に再起動する事になるけど。
364: 535 2018/05/16(水)19:41 ID:zhHRqcbt(1/2) AAS
いままで50エピソード毎に自己対戦してたけど、自己対戦がかなり重いから200エピソード毎に自己対戦にしたらなかなかいい感じ。
365: 535 2018/05/16(水)20:52 ID:zhHRqcbt(2/2) AAS
ネットワーク大きくしても詰めが甘いのはかわらないですねorz.
公式AIに勝つチャンスあったのに勝ちを逃してしまいました。
366: 310 2018/05/17(木)20:16 ID:3wU0adoY(1) AAS
Surfaceの電源ケーブル、そろそろ断線しそうだなぁと思っていたら、
PCをひょいと動かした瞬間に、まさかの電源落ち。
ウェイトデータ書き込み中に停まらないように色々工夫していても、
この手の落ちには対処できるわけもなく、また大変に運が悪い事に
またしても後半１０ステージ程度のウェイトデータが飛んでしまい
ました。バックアップとっていたのですが、気づかずにいたので、既に
上書き済みという罠。
後ろ１０ステージ分のみゼロクリアして、そこだけ今のデータで再度
学習する羽目になりました。
orz
367: 535 2018/05/17(木)20:37 ID:anbc4vLN(1/2) AAS
乙ｗ
368: 535 2018/05/17(木)23:06 ID:anbc4vLN(2/2) AAS
これはNew マシンを買えとの神のお告げｗｗ
369: 535 2018/05/18(金)20:48 ID:UxmUzKYy(1/2) AAS
まただよｗ（再起動）
370: 2018/05/18(金)21:21 ID:UxmUzKYy(2/2) AAS
藤井聡太さんが7段昇格とか。
凄すぎ
371: 535 2018/05/19(土)20:01 ID:PB1pw3rI(1) AAS
むう、AlphaZeroのポテンシャルはこんなものではないはずだが。
でも100万局くら学習させないと真価は発揮できないかもなぁ。
372: 535 2018/05/20(日)23:46 ID:A2GqvvmZ(1) AAS
19路囲碁だと20層くらい層がないと駄目だとか。
うーん20層は厳しい。。。
373: 310 2018/05/21(月)20:17 ID:aDShJzMX(1) AAS
畳み込み窓が３×３で、隣との関係を１マス分づつ認識しているとすると、１９路で
１９層必要で、出力の全結合層つけて２０層って事なのかなぁ。
あとフィルタ数も大事だと思う。フィルタで認識する特徴の種類が決まっていると思う。
なんとなくだけど、こう仮定している。検証はしていない（汗
374: 535 2018/05/21(月)21:00 ID:9qAF6usq(1) AAS
いまのところ192 * 6 でやってます。
9路だから192 * 10 にすればよかったかなぁ
375: 310 2018/05/22(火)20:12 ID:do1nJaPu(1) AAS
五目系なら、周辺５マスが把握できていればよいかもよ。
比較検証しなきゃわからんけど。
上下前次1-新書関写板覧索設栞歴
あと 627 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.018s