[過去ﾛｸﾞ]
【オセロ,将棋】ボードゲーム【囲碁,War】 (1002ﾚｽ)
【オセロ,将棋】ボードゲーム【囲碁,War】 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/
上
下
前
次
1-
新
通常表示
512ﾊﾞｲﾄ分割
ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索
歴削→次ｽﾚ
栞削→次ｽﾚ
過去ﾛｸﾞﾒﾆｭｰ
1: 名前は開発中のものです。 [] 03/07/10 00:10 ID:6FQp6G+O 比較的地味なボードゲーム専用のスレが欲しくて立ててみました。 私はc言語で作ったデータベースを使って人間と対戦できる将棋かチェス みたいなソフトを作りたいと思ってますが、グラフィックインターフェースの 作り方がわからなくてつっかえているレベルです。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/1
922: 310 [sage] 2017/08/07(月) 20:08:24.65 ID:3J92NhXM オーダリングを詰めて、さらにヌルサーチ専用の処理を追加。 ベータカットが早めに起きるようにしたのもありますが、それ以外の部分でも 倍速近くなっていると思います。が、まあ、それでも２８手目以前まで遡りチェック するのに時間がかかるという点では焼け石に水。 記譜集めからの逃避はこの辺にして、記譜集めに戻らないと…。 ここまで来ると準確定石によるアルファカットも再度実装してみたい。 準確定石を求める処理も、ソースごと消失しています。 以前は盤面与えると都度再計算していましたが、石を置くごとに更新していく ような方法にできないか考えています。とはいえ、なかなか良い方法が思い 浮かばないので、あくまで記譜集めしながら考えてみる程度ですが。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/922
923: 535 [sage] 2017/08/07(月) 22:11:24.15 ID:PWzU5nmf うあああああ、だめだああああ 俺の才能は枯れ果てた 全然何もできない 一歩も進まない http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/923
924: 310 [sage] 2017/08/07(月) 22:15:17.79 ID:3J92NhXM がんがれー。 自分も実をいうとかなり行き詰ってるけど、やれることを少しづつやってる感じ。 まあ、一回ソース全滅したの書き直すイベントのおかげで、リセットできたってのもあるけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/924
925: 535 [sage] 2017/08/11(金) 00:46:45.11 ID:gdLNX0jm スレッドリッパー遂に発売ですね。 ベンチによれば1950Xに乗り換えればCPU性能は現状の３倍以上になりそうです。 うーん欲しい。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/925
926: 310 [sage] 2017/08/11(金) 17:12:37.06 ID:3ANYT76m 自分の場合、何倍になるんだろ。単純に考えて１０倍くらいになるのかなｗ まあ、アムダールの法則あるから、そこまではいかないだろうけど。 メモリーも、8Gだと遡り３０手あたりでスワップ始まるので、もう少しほしいなぁ。 最近、PC通販サイトを時々覗いています。 スレッドリッパーほしいですねぇ。 相変わらず遡りチェックの高速化を地味に実行中。 min-Max探索の並列処理は粒度が大きいので、待ち合わせロスが多くなりますが、 その辺を何とかしました。遡りチェックはヌルサーチにおけるベータカット検出がメイン であるという点に依存しますので、普通の探索では使えませんが。 平行して確定石の計算作ってますが、なかなかうまくSIMD演算に落とし込めない。 しばし悩み中です。ただ、３０手遡りとかまで行くと、確定石を使ったアルファカットが かなり効きそうなので、早くなんとかしたいです。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/926
927: 535 [sage] 2017/08/12(土) 22:58:25.64 ID:BGqwTvwq 確定石という言葉で思い出しましたが ライフゲーム囲碁にも確定石という概念がありますね やれる事が一個見つかりました http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/927
928: 310 [sage] 2017/08/13(日) 23:11:58.30 ID:icrdxDk8 確定石とりあえずできました。 自分の実装で３ステップあるうちの２ステップでSIMD化できましたが、 最後の１つはまだシフトとループの組み合わせです。 で、さっそく敵確定石数からアルファ値アンダー検出のカットロジックを 入れてみましたが、遡りチェックに入れると、途中でバグるという状態。 しばし長考が必要です。 というわけで、記譜集めに戻りましたが、こちらもランダム着手付 の探索で、稀に間違った着手をするというバグが出てます。こちら も、しばし長考が必要かもしれません。 むむむ。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/928
929: 310 [sage] 2017/08/14(月) 23:05:49.41 ID:4KkLvd6h 記譜側のバグ取りしてました。 というか、ランダム着手部分を全面的に作り替えました。かなり簡単になりました。 が、テスト中に突然のあり得ないレベルの速度低下。 原因は、ふと並列探索にできる箇所を追加した事にありましたorz 丸一日大損です。 ついでに速度を調べていたら、ただの探索より置換表の方が遅いという恐るべき事態。 オーダリングもおかしくなっていましたので、ここも修正。 それでも、まだybwc探索と置換表探索の速度が変わらないという問題あり。 あちこちいじりすぎてわけわからなくなってます。むむむ。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/929
930: 535 [sage] 2017/08/17(木) 18:25:09.94 ID:3P8/JKah zenおめ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/930
931: 310 [sage] 2017/08/19(土) 00:06:36.46 ID:+u+2ZNgB なんか優勝したみたいだね。 強いAI同士で戦うと、ぎりぎりの攻防の結果、人間には穴があるように見えて しまうのかも知れん、と、ふと思ったりして。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/931
932: 535 [sage] 2017/08/20(日) 19:27:44.87 ID:6W3WD1Mu 盆休みはまるまるさぼってしまいました。 心機一転なにか始めたいなぁ。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/932
933: 310 [sage] 2017/08/21(月) 01:03:27.39 ID:fSNFfFNF せっかくまともに動いていた記譜集めですが、つい直したくなって直していたら バグ出る、速度落ちるで、さんざんでした。ようやく落ち着いたかな。 キャンセルメッセージ、再帰処理だと結構混乱してしまう。 最上階層でのβカットの際、キャンセル待ちでかかっていた時間を、ほぼゼロに 短縮しました。たぶん、タイムアップのキャンセル待ちも。ただし、まだ未検証。 とはいえ、まだ記譜数が足りないのか、評価値が安定しない… http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/933
934: 535 [sage] 2017/08/22(火) 22:49:19.92 ID:79INUlhM ライフゲーム囲碁と畳み込みニューラルネットは相性良さそうなイメージが湧いてきた ちょっと調べてみるか http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/934
935: 310 [sage] 2017/08/25(金) 00:10:43.60 ID:9p5u+Oh3 スレッドリッパーいきなり値下げですね。秋冬ごろ狙おうかなぁ。 記譜集め開始したら、耐久テスト状態になってバグがちらほら。 ここ１週間くらいで直したところに原因がありました。またか。 困った事に、たまたまエラートラップに引っかからない事があるため、記譜が 全て正しいという保証が微妙な事。仕方ないので、記譜のチェックをしなきゃ ならん…。 また、やけにおかしいと思っていた評価関数でも、問題が発覚でした。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/935
936: 535 [sage] 2017/08/30(水) 23:19:27.29 ID:o4lpiF9I スレッドリッパー欲しいが40万円はおいそれと出せないなあ 冷静に考えると予算20万が限界だなあぶっちゃけ 畳み込みニューラルネットって何十枚もフィルター用意するんです？ 計算時間メッチャかかりそうな？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/936
937: 310 [sage] 2017/08/31(木) 22:05:50.41 ID:lyHOCTEv スレッドリッパー単体で１２万円くらいですからね。 CPUクーラーと電源頑張らないといけないから、それなりの価格にはなっちゃいますね。 畳みこみは３×３を基本にしても、アルファ碁で１９２フィルターの１２段構成とかです。 自分は今のパソコンでオセロの８×８に対して３×３の４８フィルタの２段構成で試して みましたが、学習終わる気配がないので、ペンディング中です。 普通にMNISTの手書き数字認識は、しょせんオートエンコーダの３段とかなので、大した 時間もかからずにできちゃうんですけどねぇ。例題と実践のギャップがでかすぎ。 ただ、畳み込み演算自体は昔からあるもので、たぶんFFTとかでも同じような計算して いるはずなので、しっかり勉強すれば、何か、計算速度アップの技がありそうな気は しています。 デバッグ考えると、ハードで頑張った方が精神的に楽ですが。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/937
938: 310 [sage] 2017/09/03(日) 08:52:20.52 ID:sEBlGL7A 相変わらず記譜集め中。 オセロの読み切り処理の並列化は、粒度がでかくて、待ち合わせロスが大きいので、 CPUがアイドルしている時間が長く気になります。そこで、スレッド数をチェックしてコア 数を下回っている時は、リーフに近いところでも並列探索に戻るようにしてみました。 PPL機能ではスレッド数は取得不可能で、結局自分で増減カウントしました。 リソースモニター上ではCPU使用率が１００％近くに貼りついているいるので、待ち合わ せロスはほぼゼロになりましたが、早くなったかどうかは未確認です（汗 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/938
939: 535 [sage] 2017/09/04(月) 20:17:25.15 ID:BnaFXSEJ 畳み込みニューラルネットの勉強なかなか進みません。 とりあえず、棋譜がなければなにもできないので棋譜取始めました。 質より量優先で１局４秒くらいで生成中。 明日の夕方まで回す予定。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/939
940: 535 [sage] 2017/09/05(火) 20:03:48.94 ID:a++kwbuh １６万局分くらい棋譜集まりました。質は期待できませんが… そろそろCNNの勉強を本格的に進めなければ。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/940
941: 310 [sage] 2017/09/06(水) 00:21:57.37 ID:lfEM6HyT 乙です。 こちとら、またまた終盤探索にバグが見つかりまして。 ２日ほど根つめてデバッグ。その間記譜収集停止orz いつも出てくれればよいのに、同じ記譜でも３０回に１回とかのレベルで発現する 奴で往生しました。最終的にnull window search専用処理の置換表のどこかが おかしいだろうというところまで追い詰めましたが、諦めました。時々異常に探索 時間がかかるのも、この処理が原因っぽかったので、やけになって削除。 すっきりしたかもｗ なかなか強化学習までたどり着けない… http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/941
942: 535 [sage] 2017/09/07(木) 21:19:23.25 ID:QIAny/iA 集めた棋譜を統計取ってみましたが、初手天元が妙に少ない？ という謎の現象がおきたのですが、盤面の対称性を考慮してDBを作ったせいのようです。 天元は対称局面がないが、ほかの局面は対称局面があり、対称局面は合算されるため。 ていうか１６万局じゃ全然データ足りないかもｗ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/942
943: 535 [sage] 2017/09/07(木) 22:01:51.18 ID:QIAny/iA 初期曲面から３手目まで位しか十分な数のデータがないっぽいｗ １００万局にしても無駄だろうなぁ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/943
944: 310 [sage] 2017/09/08(金) 00:27:19.31 ID:4/v5wLbf 強化学習の準備始めました。 評価関数のファイル名決め打ちしてたり、staticだったりで、あちこち変えなきゃならん。 と、裏で記譜集めをしていたら、またまた問題が。 探索結果は合っているけど、逆順探索などで失敗。 用途の違う置換表を使いまわしちゃいかんという事の模様で、置換表クリアで対応。 mtd(f)で下から寄ったあと、置換表残したままもう一度上から寄せると、探索間違える 現象も確認。良く考えれば何が問題なのかわかりそうだけど、もう飽きた（汗 何回目の「これできっと大丈夫」なのかorz >>943 局面数的には、全宇宙の原子数でも足りないかと… 特徴抽出と近似による汎化に頼らないと・・・ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/944
945: 535 [sage] 2017/09/08(金) 23:05:42.67 ID:a3pCQ6U/ >>944 特徴抽出ですか… まあCNNぼちぼち頑張ってみますが、果たして成果出るかどうかかなり怪しいですね… http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/945
946: 310 [sage] 2017/09/08(金) 23:49:16.12 ID:4/v5wLbf 昨夜いろいろ考えながら寝ていたら、あっとなりまして。 今までmin-maxな部分ばかりデバッグしてましたが、最初にバグに気付いた時に 並列探索かつ置換表な時に問題が起きると気づいていたのに、見るところ間違え てました。置換表の更新のところで、２重更新の対策してなかった（汗 null window searchとか、冤罪だったんじゃないかと。 まあ、徐々に耐久テストしてみます。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/946
947: 310 [sage] 2017/09/11(月) 00:57:10.83 ID:ieDiiY3U >>946は潜在的には問題になりえますが、関係なかったorz 都度都度置換表をクリアしながらなら問題が起きないようです。 でも、クリアしなければならない、そもそも今のトリッキーな高速化方法では かえって低速になる事から、着手リスト作成箇所を全面的に書き直して しまいました。 現在耐久テスト中。今のところ調子は良さそうです。 記譜集めちんたらやりすぎなので、ちょっと質を落として数を増やしてみます。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/947
948: 310 [sage] 2017/09/16(土) 22:09:05.96 ID:4ZN/DTXg このまま記譜集めしていても、必要分量まで集めるのにどんだけかかるかわからない ので、悩んでいましたが、ふと思いつきました。置換表には、読み切り済の記譜が詰まっ ていると。上限加減のタイプもあるので、全部ではありませんが、これを捨てるのは勿体 ないかなと。で、抜いてみました。２５手読み事に大体３０００局面の盤面と終局スコアが 得られます。 どういう局面が残るのかは、なんとも言い難いのですが、記譜の足しにはなるというか 結構な分量がたまるなぁという事で、これもとっておいて、再利用できるようにしてみま した。置換表適用深さ分しかないので、限られてはしまいますが、分量的には結構に なるので、利用を前提にしてみます。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/948
949: 535 [sage] 2017/09/20(水) 22:11:12.05 ID:iovYnC4+ tensorflowやってます。 import numpy as nm winrate=nm.loadtxt("WINRATE.TXT") boards=nm.loadtxt("BOARD.TXT") WINRATE.TXTは読み込めるのにBOARD.TXTは読み込めない。 データがでかすぎるってことだろうか さてどうするか… http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/949
950: 535 [sage] 2017/09/20(水) 22:23:57.53 ID:iovYnC4+ データ半分にしたら通った まあしょうがないか http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/950
951: 310 [sage] 2017/09/21(木) 20:15:32.64 ID:x7IR5Khh tensorflowですか！ 環境整備大変そうだと逃げてます。乙です。 速度感とか教えてください。 こちらは、ようやく強化学習の良い方法を考え付きまして。 とりあえずダミーとの対戦と学習部分までコーディングしてみたところ。 今夜デバッグして、強化部分のコーディングする予定。 rollout部で使用するのはあきらめました。 色々やっていたら、勝率も大事だけど、それよりツリー展開のドライバー としての速度の方が大事だと言う結論に（汗 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/951
952: 535 [sage] 2017/09/23(土) 19:53:23.58 ID:5wTLMOiz なんか、3x3のフィルターは学習動くのに5x5のフィルターで学習させようとすると落ちる？ とりあえず、3x3のフィルターで進めてみます。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/952
953: 535 [sage] 2017/09/23(土) 19:55:53.86 ID:5wTLMOiz tensorflow固有の問題じゃないかもですがとにかくメモリが足らんですね。 今のマシンは16GBなんですが、可能なら128GBくらい積みたい気分。 やはりスレッドリッパー欲しい。金がないけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/953
954: 535 [sage] 2017/09/23(土) 22:35:13.25 ID:5wTLMOiz tensorflowに計算機占有されちゃうの意外と痛いですねorz やはりスレッドリッパーしか… でも金が… http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/954
955: 535 [sage] 2017/09/23(土) 22:53:28.32 ID:5wTLMOiz 局面の勝率計算させてるけど今正解との誤差が平均0.14くらいっぽい 勝率で平均0.14違ったら使い物にならんじゃないのか？ うーん。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/955
956: 310 [sage] 2017/09/24(日) 01:20:18.11 ID:1rFk/uJ5 並列処理すると、何使っても計算機資源占有されちゃいますよｗ だからGPUに逃がしてCPUを空けようとしたりするんですよね。 最近扇風機で冷やすようにしてますが、扇風機無しだとクロック数が８０％以下まで 下がってしまって、そういう時に限って、読み切り処理でバグがあるような結果が出て います。理屈ではありえないんだけど。 スレッドリッパーでもi-7900Xでも、CPUの温度対策は大事になると思います。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/956
957: 310 [sage] 2017/09/24(日) 01:47:25.30 ID:1rFk/uJ5 強化学習は、適当にコーディングして結果からデバッグしているので時々不安になり ますが、それなりに学習してくれているみたい。学習内容は同じく勝率で、これをアル ファ碁で言うところのポリシーに使用してます。 強化学習のポリシーを導入した事で、遡りチェックも調子よく遡るようになり、最善手を 指している率が上がったように感じています。しょせん強化学習だし、まだ学習しはじめ なので、精度は高くありませんが、使い方次第ではいける感じです。 強化学習続けたら、定石DBの代わりになるんじゃないかと期待。 しばらく学習フェーズになりますが、次はロールポリシーを改良したいかな。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/957
958: 535 [sage] 2017/09/24(日) 18:11:33.99 ID:nEz2fGFF 損失がこれ以上下がらなそうなところまで来たので、 AIに組み込んでみようと思ったのですが、 tensorflowでの学習結果をどうやってC++にもってくればいいのかよくわからないというｗ とりあえずググってみますが、見つかるかなぁ？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/958
959: 535 [sage] 2017/09/24(日) 20:00:11.56 ID:nEz2fGFF C++にもってくるの現状そんな簡単じゃないっぽいorz. http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/959
960: 535 [sage] 2017/09/24(日) 23:27:13.26 ID:nEz2fGFF windows上でtensorflowをコードからビルドとかマジすか？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/960
961: 310 [sage] 2017/09/24(日) 23:40:11.06 ID:1rFk/uJ5 ウェイトデータをバイナリで持ってきて、フォワード計算を自分で書くってのじゃダメ？ パッケージに任せたい面倒くさいところって、バックワード部分だから。 自分の場合、mctsで並列処理していて、使用している行列パッケージのEigenも並列 計算していて、両方で並列化しちゃうとスレッド取り合って劇遅になっちゃうし、Eigenを シングルスレッドで動かす時のオーバーヘッドが気になったので、AIで使用する時の フォワード計算は自分で書きました。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/961
962: 535 [sage] 2017/09/24(日) 23:49:44.98 ID:nEz2fGFF うーんそれが一番妥当ですかね〜 ありがとうございます。 でもバグなく書けるか若干心配ｗ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/962
963: 310 [sage] 2017/09/26(火) 00:08:03.06 ID:TqyA8LQm 強化学習、ずっと学習続けていると、途中で弱くなっていく。 アルファ碁のやり方をまねていたけど、一旦超シンプルな方法に変えてみて、 とにかく施行回数を増やしてみます。 強化学習を使って、序盤の評価関数が作れないか検討開始。 あと、時々出ていた終盤探索のバグ。 今度はたぶん大丈夫だと思う。 何度目の大丈夫だって状態だけど（汗 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/963
964: 535 [sage] 2017/09/26(火) 00:31:24.69 ID:Q8jANAxD 学習率って何気に大事なパラメータですね。 速度がかなり違う。 もっと大胆に攻めた値にすべきかな？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/964
965: 310 [sage] 2017/09/27(水) 10:06:01.04 ID:CCZHsP7K 学習率は大事だけど、今時はRMSPropとかADAMとかで 自動計算にしちゃうんじゃないの？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/965
966: 535 [sage] 2017/09/27(水) 21:24:40.34 ID:PlFiGlJN 詳しいことはよくわかりませんが、最適化の関数名はAdamOptimizerとなっているのでそうなのかもしれませんね。 学習率のパラメータ渡すところも引数省略可能っぽいですね〜 自動計算のほうがいいんだろか？。 参考にした本には学習率設定してありましたのでマネしました。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/966
967: 310 [sage] 2017/09/29(金) 10:10:45.06 ID:Cw2Mz5dw それならAdamですね。Tensor Flowなら当たり前ですね。 学習率ってだけだったので、Optimizer無しの学習率だと思いました（汗 省略時引数はたぶんモデル発表者の提示した推奨値です。 まあ、パラメータをいじるかどうかは、個々人の好みとい事で。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/967
968: 535 [sage] 2017/09/30(土) 19:50:26.02 ID:d6qWS2yh フィルターの数も多けりゃ多いほど誤差が減るって単純なものでもないみたいですね。 多すぎると最適化が収束しなくなるっぽい。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/968
969: 535 [sage] 2017/09/30(土) 20:37:24.31 ID:d6qWS2yh パラメータいじりの沼にはまりそうorz http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/969
970: 535 [sage] 2017/09/30(土) 20:50:21.36 ID:d6qWS2yh メモリ！メモリが足らん！ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/970
971: 310 [sage] 2017/09/30(土) 23:21:48.52 ID:WQNilA4m フィルタ数は大きければ大きいほど良いのですが、学習に必要な時間が恐ろしく 長くなります。十分に多いフィルタ数で収束できる事を確認したうえで、だんだんと 減らして行くなんて作業になります。段数についても一緒。 ロースペックマシンだと１回試すのに下手すると数週間とかあり得るのです。 かといって、精度が出せないレベルの簡素なモデルで試しても、いつまでたって も収束せずに、まだかなみたいな。モデルの複雑さが足りているかいないかが わからない点が、困ったちゃんなのです。 さて、強化学習ですが、なんとなく学習しているようにも見えるし、最適解の周囲を 振動しているようにも見えます。ふと思い付いたのですが、最適化（SMORMS3って 奴を使用）をやめて、ただの学習率（もしくは、学習率の漸減）にした方が、動きが 素直になって良いのかも。 今のスピードは１時間に１００万対戦。１億対戦するのに４日強かかるわけで。まだ 試行回数が足りていないかもしれないし、そもそもただの線形ではモデルが簡単すぎ るのかもしれません。 というわけで、CNN使わずに線形でやっても同じ問題が起きまするorz http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/971
972: 310 [sage] 2017/09/30(土) 23:46:13.87 ID:WQNilA4m フィルタ数は大きければ大きいほど良いのですが、１回の学習に必要な時間が フィルタ数に比例して長くなります。十分に多いフィルタ数で収束できる事を確認 したうえで、だんだんと減らして行くなんて作業になります。段数についても一緒。 これ、１サイクルの計算時間の話なので、収束しやすさについては、複雑さが 増すとさらに時間がかかる可能性あります。 ロースペックマシンだと収束できるか確認するのに下手すると１か月とかあり得ます。 かといって、精度が出せないレベルの簡素なモデルで試しても、いつまでたって も収束せずに、まだかなみたいな。モデルの複雑さが足りているかいないかが わからない点が、困ったちゃんなのです。 さて、強化学習ですが、なんとなく学習しているようにも見えるし、最適解の周囲を 振動しているようにも見えます。ふと思い付いたのですが、強化学習に限っては、 最適化（SMORMS3を使用）をやめて、ただの学習率（もしくは、学習率の漸減）に した方が、動きが素直になって良いのかも。 今のスピードは１時間に１００万対戦。１億対戦するのに４日強かかるわけで。まだ 試行回数が足りていないかもしれないし、そもそもただの線形ではモデルが簡単すぎ るのかもしれません。 というわけで、CNN使わずに線形でやっても同じ問題が起きまするorz http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/972
973: 310 [sage] 2017/09/30(土) 23:46:51.18 ID:WQNilA4m あれ、２度書きになってしまった。 しかも内容が微妙に違うｗ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/973
974: 310 [sage] 2017/10/02(月) 22:13:03.03 ID:GHWiob/2 いやぁ、またやっちまった。 バリューの評価値計算が間違っているの気が付いて、リセットしようとしたら、 間違えてポリシーの強化学習の方をリセットしてしまった。またやり直しです。 ちなみに、ただの学習率ってのSGDですね。ようやく思い出した。 ついでなので、若干パラメータ変えて強化学習再開。 時間あたり試行回数は減るけど、トータルで少しは学習が速くなるはず。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/974
975: 535 [sage] 2017/10/04(水) 21:07:28.40 ID:Ls8WOlwm CNNのフォーワード計算自前で書くの結構面倒くさいなぁ。 バグなく書けるかも心配だし。 うーん。 ここで足踏みしてます。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/975
976: 310 [sage] 2017/10/04(水) 22:00:17.02 ID:GdIdmn03 オライリー本のゼロから作るDeep Learningって本ではPythonでのコードが載ってた けど、畳み込みのところをim2colとかいう関数で展開して、行列計算に落としこんでた。 im2colのソースを探したけど、見つからなくて放置してますが、あれが常道だと思います。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/976
977: 310 [sage] 2017/10/05(木) 22:33:23.90 ID:sIPpafz3 ポリシーの強化学習、遅々として進んでいます（汗 時々、テストでMCTS動かしてポリシーの学習値を見ているのですが、 学習対象の全４８手のうち、後ろ１２手分くらい、それっぽく濃淡がついてきてます。 このまま続けたら、もっと前の方まで学習してくれると期待しているのですが、ここ からが分岐が多い箇所なので、どれくらい時間がかかるか想像がつかない。 で、ポリシーの強化学習の結果を使って、バリューの方も学習させていたのですが、 やはり無理がある事に思い至りました。バリューはバリューで別途強化学習をさせ ないといけない模様。どちらかというとバリューの方が大事なので、このままポリシー の学習を続けるか、一旦棚上げしてバリューの方に乗り換えるか、悩み中。 学習中のポリシーをMCTSに組み込んだところ、速度低下が著しい。メモリーのランダム アクセスが原因だと思う。速度アップネタをいくつか模索してみたいと思いますが、 変更が重いので、いつやるかこちらも悩み中。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/977
978: 535 [sage] 2017/10/06(金) 23:07:13.96 ID:Zz+2m3w3 天頂7発売するらしいですね これは買うしか無い それに合わせてpcも買い換えるチャンスか？ 悩ましい http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/978
979: 535 [sage] 2017/10/08(日) 00:36:58.52 ID:wvFd88H+ tensorflowを捨ててC++で使いやすい別のフレームワークを探そうかと思案中 でもtensorflow捨てるの勿体ないなぁとも思う http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/979
980: 535 [sage] 2017/10/08(日) 01:13:04.86 ID:wvFd88H+ ググったらtiny-dnnというのがヒットした。 ちょっと調べてみるか http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/980
981: 310 [sage] 2017/10/08(日) 01:29:43.31 ID:rkcq5jaW C++なフレームワークってほとんどないです。 自分はtiny_dnnくらいしか見つけられなかったけど、あまりに学習に時間がかかった ので放置です。やっぱ、それなりのPC環境無いとダメなんでしょうね。 自分といえば、やっぱりバリューが大事と言う結論に。 あわせてグチャグチャになっていた強化学習回りのソースの全面整理と、mcts時の 速度改善のために、ポリシーとバリューのウェイトをセットで扱うように変更。 先ほど、ようやくまともに学習するようになったと思います。そう思いたい（汗 これでまた１週間かなぁ。 バリューは記譜使って、多少は事前学習できるけど。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/981
982: 535 [sage] 2017/10/09(月) 22:53:42.22 ID:6ifm6Vf2 tiny-dnnパッと見なかなか良さげな感じだがネットの情報だけだとよくわからん。orz. tiny-dnnの良い入門書籍ないかな〜 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/982
983: 535 [sage] 2017/10/09(月) 23:43:40.71 ID:6ifm6Vf2 うお、examplesがビルド通らね〜 めんどくせ〜 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/983
984: 535 [sage] 2017/10/09(月) 23:54:11.92 ID:6ifm6Vf2 コンパイラがC++14に対応してないといかんのか？ よくわからんorz. http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/984
985: 535 [sage] 2017/10/10(火) 21:01:26.86 ID:CbL+/Tjp std::threadがないとかなんとか。 うーん。コンパイラ変えなきゃダメかなぁ？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/985
986: 535 [sage] 2017/10/10(火) 21:28:45.95 ID:CbL+/Tjp すいません。>>310さんはtiny-dnn動かせたんですよね？ コンパイラは何使ってますか？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/986
987: 310 [sage] 2017/10/10(火) 22:31:39.17 ID:FL07aRsc Visual Studio Communityの2017です。C++14対応してます。 GitHUBのtiny_dnnのページにC++14必須となってますね。 C++11あたりからC++がほとんど別物になっちゃったみたいですね。 自分は最近始めたばかりなので、詳しく知りませんが。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/987
988: 535 [sage] 2017/10/10(火) 22:35:28.36 ID:CbL+/Tjp VC++ですか〜ありがとうございます。 しょうがない、乗り換えるかorz. http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/988
989: 535 [sage] 2017/10/10(火) 23:21:21.89 ID:CbL+/Tjp もしかしてインストールメッチャ時間かかる？ 今日は一晩放置かな？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/989
990: 535 [sage] 2017/10/11(水) 21:40:19.82 ID:IapPKNMM とりあえず、mnistのtest.cppはコンパイル通りました。 examplesのmain.cppは main.cpp(305): error C2065: 'num_hidden_units': 定義されていない識別子です。 って言われた。 これからボチボチいろいろ動かしてみます。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/990
991: 535 [sage] 2017/10/11(水) 23:13:49.39 ID:IapPKNMM そろそろスレ立ての季節ですね。 次スレどうします？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/991
992: 310 [sage] 2017/10/13(金) 00:57:16.39 ID:eAclV2CT mnistは動かしたけど、examplesは文字通り構文サンプルとしてしか見てなかったかも。 995踏んだあたりで次スレ建てましょう。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/992
993: 535 [sage] 2017/10/13(金) 22:13:12.16 ID:XE+Je04C >995踏んだあたりで次スレ建てましょう。 了解です。 >mnistは動かしたけど、examplesは文字通り構文サンプルとしてしか見てなかったかも。 なんかnum_hidden_unitsは定義されてるんですが定義される前に参照してるみたいですね。 順番入れ替えたらコンパイル通りました。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/993
994: 535 [sage] 2017/10/14(土) 20:24:52.02 ID:FkZ1SFjZ tiny-dnn 懇切丁寧な入門書籍が欲しいな… かなり良さげなのにモチベーションがなかなか高まってこないorz. http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/994
995: 310 [sage] 2017/10/15(日) 16:22:39.70 ID:Y3hjOlZC 解説無いですねぇ。 まあ、わかってればわかってるなりに使えるツールみたいになってますが、 自分はウェイトデータを保存して再利用みたいなところまでたどりついていない のですが、テンソルの構造がいまいちわかっていなかったりして。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/995
996: 310 [sage] 2017/10/15(日) 16:59:10.56 ID:Y3hjOlZC http://mevius.5ch.sc/test/read.cgi/gamedev/1508051775/ 書けるかな？ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/996
997: 310 [sage] 2017/10/15(日) 17:01:24.30 ID:Y3hjOlZC あ、urlが2chだとNGワードになっちゃうので、5chにしてみたけど、リンクできず。 というか、どうも.scの方にスレ作ってしまったかも。 このスレもメッセージ同期していたので、気が付かなかった。 なんかわけわからん。 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/997
998: 310 [sage] 2017/10/15(日) 17:36:19.71 ID:Y3hjOlZC 今度は大丈夫だ。 【オセロ,将棋】ボードゲーム Part2【囲碁,War】 http://mevius.2ch.net/test/read.cgi/gamedev/1508056498/ ２ちゃん５ちゃん問題がこんなところで影響するとは・・・ http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/998
999: 535 [sage] 2017/10/15(日) 21:50:20.35 ID:dinC5uru スレたて乙です。 tiny-dnnの勉強全く進んでませんorz. http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/999
1000: 名前は開発中のものです。 [sage] 2017/10/16(月) 19:38:44.87 ID:QfTFwjlG ぶっちゃけNNなんて、Deepが付いても大雑把じゃね？ あんなんで人間様に勝てるんかいな？？？ 数学の回帰というのが、本質的に大雑把なんだから http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/1000
1001: 1001 [] Over 1000 Thread このスレッドは１０００を超えました。 新しいスレッドを立ててください。 life time: 5212日 19時間 28分 26秒 http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/1001
1002: 1002 [] Over 1000 Thread 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。 運営にご協力お願いいたします。 ─────────────────── 《プレミアム会員の主な特典》 ★ 5ちゃんねる専用ブラウザからの広告除去 ★ 5ちゃんねるの過去ログを取得 ★ 書き込み規制の緩和 ─────────────────── 会員登録には個人情報は一切必要ありません。 月300円から匿名でご購入いただけます。 ▼ プレミアム会員登録はこちら ▼ https://premium.5ch.net/ ▼ 浪人ログインはこちら ▼ https://login.5ch.net/login.php http://mevius.5ch.net/test/read.cgi/gamedev/1057763418/1002
ﾒﾓ帳
(0/65535文字)
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
ｽﾚ情報
赤ﾚｽ抽出
画像ﾚｽ抽出
歴の未読ｽﾚ
AAｻﾑﾈｲﾙ
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.149s*