[過去ﾛｸﾞ] 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 (1002ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
310(197): 535 [sage] 2018/04/02(月) 22:24:32.85 ID:3iK+AnRP(1) AAS
Leela ZeroがKGSでかなり強くなってる。
俺がパクったプログラムも学習し続けたらあれくらい強くなるんだろうか？
303: 310 [sage] 2018/03/31(土) 01:43:35.07 ID:h3UgGfs1(2/2) AAS
あと、時々スコア指定（ヌルウィンドウサーチ）の記譜作成処理で
エラー（スコア間違い）が出る時がある。
運が悪い事にハンドリングミスその他で、記譜を残せていないので、
現象の特定ができていない。
頻度としては数日に１回くらい。
たぶん、全滅と直前のパスがらみだと思うんだけど。
306: 310 [sage] 2018/04/01(日) 01:07:10.57 ID:OBeH+1OH(1) AAS
おお。どんどん進んでますね。
こちらは、昨夜のバグの現象は特定しました。
スコアが６２や−６２で、mtd(f)の探索開始が６４や−６４の時に、
置換表に残った６４や−６４が悪さして、６４や−６４と誤答する模様。
とはいえ、どこを直すべきかはわかりません。探索開始が６４や−６４
の時に、６２や−６２にしてやる事で、姑息的に回避はできるので後回し。
あと、記譜作成に色々機能を加えていたら、どこかがおかしそうだという
不安な状態になってしまいまして。このまま記譜学習を進めて良いか自信
が無いので、今までのデータで安全な部分をテスト用に回して、新たに
記譜を作成開始。３４手目までは全探索しながら普通に遡れる感じです。
３３手目から先は探索時間がしんどいので、ひとしきり落ち着いてから、もう
一度、遡りチェックのプログラムをきちっと見直して、追加していこうかな
と思っています。この間に、強化学習混ぜて、過学習部分を解消して
いこうと思います。
308: 310 [sage] 2018/04/01(日) 13:49:33.48 ID:DAl+8Sdv(1) AAS
バグ問題は、結局姑息的手段では回避できず。
全滅がらみでほかのケースでも誤答するケースが発生しました。
元々FFO#59用にmin-Max探索に入れていた、全滅時の処理くらいしか
原因となりそうなものが思い当たらなかったので、とりあえずコメントアウト
して様子見です。全滅時の探索が速度低下しますが、仕方がありません。
309: 310 [sage] 2018/04/02(月) 20:15:06.48 ID:9LYme7cN(1) AAS
結局バグ問題は…迷宮入り臭いです。
記譜作成で負荷テスト並みに探索を繰り返すと、全滅絡まなくても間違うケースが
出てきました。再現性が無いのが辛いところ。
その昔悩んでいた時も、やっぱり置換表がらみの問題で迷宮入りでしたが、
今回も、ケチって置換表を極力クリアせずに使用していた事から、何らかの
矛盾が起きているようです。それを言っちゃうと、置換表付mtd(f)でｆ値を変え
ながら探索することも、またその時に作成された置換表を流用して記譜作成
兼ねた読み切り処理を速度アップすることも、怪しいという事になるわけで。
間違えてしまった事が判明した時点で、その探索は捨てるくらいしか対策が
無いという事になります。
ネットで調べたら、将棋AI界隈でも置換表の問題点を書いている人がいまして。
少なくとも深さがあっていない置換表データは使うべきではない模様。
今の調子だと一晩動かすと結構な頻度で朝見たら止まっているとい状態なので
せめて発生率を下げるべく、mtd(f)に入る前に置換表をクリアする事にしました。
なぜしなかったかというと、記譜データからスコアが確定している盤面を置換表に
入れて、それを見ながら既に読み切りしている盤面は飛ばす処理をしていたから
です。置換表をクリアして盤面再構築に時間がかかるためです。別途盤面キャッシュ
を持って、そちらは追記、置換表は毎回クリアという形に変更しました。
313: 310 [sage] 2018/04/06(金) 22:00:28.44 ID:952uhqxW(1) AAS
誤答問題は、置換表クリアで解消しました。
違う局面の探索で使用した置換表データは使いまわしてはいけないという事で。
なんか、結果的に、２年くらい前にも同じ事で騒いでいたような。
色々整ってきたので、あとはひたすら記譜作成しながら学習を回すだけになって
しまって、暇になってます。別PC買ってそっちで学習させながら、別の事をはじめ
ようかなぁと思い始めています。
330: 310 [sage] 2018/04/20(金) 09:40:06.18 ID:HgLFJ5UM(1) AAS
うーん。AMDはSIMD命令で遅い命令があって、速度低下するかもって
どこかで読んじゃったからなぁ。
こちらは地道に記譜作成しながら学習させてます。
深さ優先で記譜作成すると、分岐が少ない手筋ばかり増えていくので、
幅優先で、同じ深さである程度記譜溜まってから、次の深さとするように
したのですが、空きマス２７からの記譜展開で、時間がかかるようになって
なかなか空き２８マスに行けない。オーダリングの精度が出ていないから
だと思いますが、同時に選択肢も増えてきて、余計時間がかかる感じ。
空き３０マス突破したら、かかる時間の増加率は下がるはずなんだけど。
334: 310 [sage] 2018/04/21(土) 20:32:42.81 ID:AdkW58BW(1) AAS
オセロは記譜生成させてるだけで暇なので、将棋の事を考えてました。
KKPとかよくわからないし、同じ事をやってもつまらないので、利きを点数化
しようかと考えてみまして、実際の計算方法を考えていたら、自玉周辺と
相手玉に対する利きがKKPなのではないかと思い至ってしまいました。
持ち駒の点数は駒種毎に固定で振られていて、駒同士のぶつかりによる優劣
特に駒交換はmin-Maxにて補間しているのかなと。評価関数自体は意外と単純
な事しか学習していない感じで、探索で補っている部分が大きいように感じます。
こうやって見ると、上手く単純化しているなぁと。
自分で勝手に想像した内容に感心してしまいました。
ただ、これならこれで、自玉KPと相手玉KPの合算で、２駒関係に次元を落とせ
そうではないかと思ってしまいました。まあ、無理なんでしょうけど。
自分がやる上での一番のネックは、オセロの評価関数が点数だったために、
なんちゃって強化学習しかやった事がな点ですね。あと、みなさんライブラリ化
されていて、それに則れば色々な人の考えた高速化・高効率化のネタが利用
できる点で、一から車輪の再発明していては追い付けないよなぁと。
339: 310 [sage] 2018/04/22(日) 19:48:13.41 ID:wf3ukgDl(1) AAS
だよね。自分も脳内妄想で我慢です。
PC新調しちゃうか思いっきり悩み中。
350: 310 [sage] 2018/05/03(木) 20:31:46.75 ID:EAR7zekO(1/3) AAS
なんか順調でうらやましい。
俺もやっぱGPU付きのPC買うべかな。
一般的にLRでは、学習率は発散しない限界まで大きくするのが良いらしく、
昔は、最初大きく、試行回数増えるごとにだんだん小さくみたいな事をしてました。
NNではRMSPropとかADAMとかで自動調整する流れだと当時理解していました。
ただ、Googleの論文読むと、普通に学習率固定っぽく読めてしまうんですよね。
強化学習だと学習率固定が良いのかも知れません。
表現力大きいからあんまり問題ない気がするのですが、学習率は小さくすると
学習に時間がかかる代わりに、収束しやすくなります。局所解には陥りやすく
なるのではないかと愚考しますが、強化学習における局所解と、教師付学習に
おける局所解は現象が違うから、よくわかりません。
351(1): 310 [sage] 2018/05/03(木) 20:37:19.91 ID:EAR7zekO(2/3) AAS
こちら、例によってひたすら分岐付き記譜を作成しています。
空きマス２７の所（完全読みとしては２６）のところから、計算時間が案の定すごく
かかるようになってしまって、遅々として進まなくなりました。
最後の手段でとっておいた、UCT探索で仮PV作成し、それでmtd(f)にて評価値を
迅速に確定して、その評価値で正しいPVを求めるという流れにしたところ、恐らく
数倍程度に高速化され、それによって記譜が集まり正確になる事で、評価関数の
精度が上がって、仮PVが正確になりという好循環に、ようやく入る事ができました。
ただ、それでもまだ時間はかかるというか、今空きマス２８まで持っていったら、
また時間がかかる地獄に入りそう。最低でも空きマス３０までは持っていきたい。
つか、待っている時間が長い…セカンドPCが欲しい。
352: 310 [sage] 2018/05/03(木) 20:41:41.51 ID:EAR7zekO(3/3) AAS
>>351
＞数倍程度に高速化され
あくまで仮PVが数手分合っている時の話で、仮PVが間違っていると、
むしろ遅くなる可能性があります。
あと、一つの局面に対し、最善手が複数あるケースでは、例えば最善手
が２つあると２倍程度時間がかかるという問題があるのは認識していて、
対策は可能なのですが、そうするとバグった時にβカットのエラーを吐か
ないという恐ろしい状態になってしまうので躊躇しています。
353: 310 [sage] 2018/05/04(金) 19:57:24.12 ID:5CQB8Di3(1) AAS
世界コンピュータ将棋選手権の２次予選までで強さをみせつけている
T.N.K（通称たぬき）ですが、DL勢にして高速評価関数という事なので
アピール文書を見てみました。
これ、CNNではなく、全結合のDeep Networkの模様。追加で論文も
出ているので、見たところ５層のMLPです。
入力層に玉との２駒関係を使っていて、そこは計算量が多いので、
ここだけ差分計算で高速化しているとの事。自分は行列をEigenに
任せちゃってるので差分計算していませんが、オセロでも結構使え
るはず。
もう一度オセロをMLPに拡張したくなってきた（汗
356: 310 [sage] 2018/05/08(火) 01:01:09.30 ID:6noaUyVY(1) AAS
バックプロパゲーションで計算している以上、深さが深くなると、
その分初段まで誤差を遡らせるのに時間がかかるから、収束が
遅くなって当然かと思います。
あと、初期値のランダム値の幅も、適切に設定しないとなかなか
収束しなくなりますし、それでも初期値の運が悪いとまったく収束
しないなんて事もあり、ちょこっと不安定なところがあります。
XavierとかHeとか初期値の設定項目はありませんか？
本で読んだ知識なので、現実にどれくらい影響するのか良くわかりませんが（＾＾；
363: 310 [sage] 2018/05/13(日) 19:53:17.92 ID:i+O998yE(1) AAS
Windows Updateかな？
俺は通知もらうだけにして、タイミング見て自分で再起動かけてる。
まあ、２４時間経つとカウントダウンが始まるので、早目に再起動する事になるけど。
366: 310 [sage] 2018/05/17(木) 20:16:35.67 ID:3wU0adoY(1) AAS
Surfaceの電源ケーブル、そろそろ断線しそうだなぁと思っていたら、
PCをひょいと動かした瞬間に、まさかの電源落ち。
ウェイトデータ書き込み中に停まらないように色々工夫していても、
この手の落ちには対処できるわけもなく、また大変に運が悪い事に
またしても後半１０ステージ程度のウェイトデータが飛んでしまい
ました。バックアップとっていたのですが、気づかずにいたので、既に
上書き済みという罠。
後ろ１０ステージ分のみゼロクリアして、そこだけ今のデータで再度
学習する羽目になりました。
orz
373: 310 [sage] 2018/05/21(月) 20:17:29.25 ID:aDShJzMX(1) AAS
畳み込み窓が３×３で、隣との関係を１マス分づつ認識しているとすると、１９路で
１９層必要で、出力の全結合層つけて２０層って事なのかなぁ。
あとフィルタ数も大事だと思う。フィルタで認識する特徴の種類が決まっていると思う。
なんとなくだけど、こう仮定している。検証はしていない（汗
375: 310 [sage] 2018/05/22(火) 20:12:53.71 ID:do1nJaPu(1) AAS
五目系なら、周辺５マスが把握できていればよいかもよ。
比較検証しなきゃわからんけど。
400: 310 [sage] 2018/06/06(水) 21:38:17.47 ID:dXECgVmr(1) AAS
残り２８手のところで１か月足踏み。やっと記譜がたまってきた。
残り３０手まで行くのに半年くらいかかりそうｗ
というか、まだまだパターンが足りていないかも。
>>396396(1): 535 [sage] 2018/06/04(月) 23:05:36.60 ID:Hw4HpbU5(5/6) AAS
ネットワークを192 * 6 から 256 * 24 にしたら計算量は(256*24)/(192*6)=5.333倍であってる？
まさか指数的に計算量増えたりしないよね？
隠れ層のサイズは２乗で効いてくるから、256^2/192^2。
深さは単純に計算量が４倍になるとして、ざっと７倍くらいになるのでは？
学習は深さが増えるとどんどんきつくなるかと。
誤差逆伝播の宿命です。
403: 310 [sage] 2018/06/07(木) 22:47:08.28 ID:3tsX2weq(1) AAS
マシンパワーが潤沢にあれば、かなり大きいネットワークから学習させて、
最低限どれくらいの大きさなら弱くならないかが求められるんだけどねぇ。
Googleみたいに。
405: 310 [sage] 2018/06/08(金) 09:01:40.50 ID:kLQfp5L9(1) AAS
今見た。６４スレッドだってｗ
411(1): 310 [sage] 2018/06/12(火) 22:17:08.85 ID:tW9CPEWd(1) AAS
NNの罠ですな。
自分が逃げたのは、それです（汗
415: 310 [sage] 2018/06/16(土) 09:22:12.72 ID:zNyAzUlc(1) AAS
フロンティアと言えば懐かしのフロンティア神代（こうじろう）かなと思ったらビンゴでした。
Wikipedia情報によると、フロンティア神代はヤマダ電機に吸収されて解散していて、
BTOショップにフロンティアという名前だけ残っているみたいです。
ヤマダ電機なので裏は無いでしょうね。
7980XEに1080Tiで128Mとかにしていくと、だいぶ価格差は詰まっていきますが、
それでも多少安いみたいですね。というか、8700Kだったらかなり安いかも。
422: 310 [sage] 2018/06/19(火) 00:55:25.28 ID:FOfYGuya(1/2) AAS
ゲームとして必要最低限と思われる最低限の層数から１層づつ増やして行って、
一つ前の奴に有為に勝てる様になるまでの学習時間を図っていくという手もある
かなと思います。
面倒でやりたくないですが。
自分はひたすら記譜作成。
少しづつ改良を加えていますが、残り２８手（読み切りとしては２７手）で足踏みして
います。早ければ６分程度で終わるのですが、いかんせん２５〜２６手目の評価
関数が穴だらけみたいで、長いと４時間とかかかってしまい、なかなか棋譜が集め
切れません。記譜が集まると速くなるのですが、集まるまでの時間がかかりすぎ。
424: 310 [sage] 2018/06/19(火) 23:13:29.58 ID:FOfYGuya(2/2) AAS
すごくわかりますorz
だから、非効率でも、自分でNNのライブラリ作っちゃおうとしたりするのでする。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.755s*