[過去ﾛｸﾞ] 最新ソフトで棋士の指し手一致率を調査した結果 2 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
1(10): 2019/08/25(日)13:16 ID:ZVwpQy/4(1) AAS
画像ﾘﾝｸ[png]:i.imgur.com
※前スレ
最新ソフトで歴代棋士の指し手一致率を調査した結果
2chｽﾚ:bgame
2(2): ◆f7OmZ9ucu2 2019/08/25(日)15:39 ID:drQ8F6x8(1/16) AAS
今年の入手可能な棋譜をできるだけ多く解析して棋士のソフト一致率を調べてみた
ただし、慣例に従い前半40手を除外した一致率だけなので、ソフトによる序盤戦の研究がどう勝敗に関わるかを分析するのは目的でない
棋士の棋力を中終盤のソフト一致率で測定可能かに主眼を置いて調査している
やってみて、一致率だけでは決定的なことはブラックホールであることがわかってきた
最新の棋力を知る便利な物差しはEloレーティングをおいてない
一致率が棋力の指標たりえるかを知るためにはこのEloレーティングとの相関を調べる必要がある
上位棋士との相関は概ね感触が良かった
レート上位30位までならピアソン相関係数で0.8、上位40位まででも0.75になった
ところが、レートでなくデータ局数10以上の棋士の相関係数は0.57、データ局数15以上にしても改善されなかった
何かが決定的に足りない
省8
3(1): 2019/08/25(日)15:56 ID:ombiyTbA(1) AAS
天野宗歩もソフト指し
4(1): 2019/08/25(日)15:57 ID:9IcsYsGh(1) AAS
羽生さんは三位なんか
5(3): ◆f7OmZ9ucu2 2019/08/25(日)16:01 ID:drQ8F6x8(2/16) AAS
公開した表はレーティング上位24位までの棋士を換算レートの順に並べている
ここで、換算レートについて説明したい
この画像は7月27日現在データ数が16局以上になった棋士22名をExcelで回帰分析したものである
Eloレートを目的変数、一致率と相手一致率を説明変数にして重相関係数を求めている
その結果、重相関Rは0.872だった
ここで得られた重回帰式を用いて算出したのが現在の換算レートになっている
画像ﾘﾝｸ[png]:i.imgur.com
6(7): ◆f7OmZ9ucu2 2019/08/25(日)16:09 ID:drQ8F6x8(3/16) AAS
次に相手一致率の算出の仕組を説明しておく
>>1でデータ数が一番少ない三浦九段を例にするとこんな仕組になっている
算出する度にこうした表にしているわけではないが、こうした原理で、三浦九段の一致率74.1%と相手一致率74.8%が算出されている
画像ﾘﾝｸ[png]:i.imgur.com
7(1): ◆f7OmZ9ucu2 2019/08/25(日)16:09 ID:drQ8F6x8(4/16) AAS
ほかにも説明が必要な箇所はあると思うが、とりあえず重要な点については説明が足りたのでないだろうか
ここで、テンプレごときを一端終了し気付いたことがあれば、また追加していきたい
8(2): 2019/08/25(日)16:21 ID:Ayy8DYu9(1/3) AAS
一致率ってソフトの最善手と一致する率のことなの？
Ａは最善が多かったけど大きな悪手を１回だけやる
Ｂは最善が多くなかったけど大きな悪手は１回も指さなかった
この場合Ｂが勝っても一致率はＡが上になっちゃう？
勝敗に直結する大きな悪手を指さない方が重要では？
9: ◆f7OmZ9ucu2 2019/08/25(日)16:31 ID:drQ8F6x8(5/16) AAS
>>8
大きな悪手を指さないほうが重要なのはその通りなんだけどね
だけど、プロ棋士は最善手と思って指している場合がほとんどなので、気付かなかった手を相手に指されてから自分が指した手が悪手だったことが分かるわけよ
だから、その手が大悪手になるか軽傷ですむかは結果論なんだな
つまり、1局だけなら色んなケースがあるけど、データ局数が増えるほど一致率が高い棋士より一致率が低い棋士のほうが悪手を多く指しているという結論になるんじゃないかな
大悪手の数にしても同じことだね
10: ◆f7OmZ9ucu2 2019/08/25(日)16:39 ID:drQ8F6x8(6/16) AAS
例えば、プロ棋士の対局を観戦してるとき、ソフトの評価値が出てくる
ソフトの最善手は簡単に指せるような手でないけど、それ以外の手はダメというようなことがしばしばある
そのときにソフトの最善手を指せる棋士はやっぱし強い棋士なんだな
一致率は棋士のこうした勝負の分かれ目に強いところを評価している側面もあるんじゃないかな
11: 2019/08/25(日)16:39 ID:Ayy8DYu9(2/3) AAS
「大悪手の少なさ」は調査する価値のある重要なものだと思ったんだけど
無理だったらいいよ
12: ◆f7OmZ9ucu2 2019/08/25(日)17:00 ID:drQ8F6x8(7/16) AAS
かなりムズいことは確かだね
大悪手の定義から、その大悪手がプロでも無理からぬ大悪手なのかプロにあるまじき大悪手なのか、本当に大悪手なのか解析が足りないだけなのではないのか等々、1局の解析を終える前に日が暮れてしまうんじゃないかな
神が解析したら負けた側には必ず負けを決定付けた大悪手があるわけで、そうした意味では大悪手率を調べることは勝率を調べることとあまり変わらないと思っているよ
13(1): 2019/08/25(日)17:06 ID:pGRg7V+g(1/2) AAS
そもそも最善もソフトによって変わるからねえ
14(3): 2019/08/25(日)17:23 ID:ZVP0Z3pa(1) AAS
最新ソフトとは言ってもソフトAで次善手と出た手がソフトBでは最善手ということはよくあると思う
対してソフトAで大悪手だった手がソフトBで最善手になることはほとんどないだろう
だからソフトの次善手は真の最善手である可能性もある手という意味で悪手とは明確に差があるしこれは結果論ではないと思う
15: ◆f7OmZ9ucu2 2019/08/25(日)17:24 ID:drQ8F6x8(8/16) AAS
これもテンプレにしておきますか
将棋は最善手を見逃したほうが大概負ける
最善手率が高ければ高いほど勝率がよくなる
本当の最善手率はわからないが、最強ソフトとの一致率を代用したらどうか
こうして、強さの指標として一致率を試すことになった
今年の対局で集計したのは880局で、そのうち一致率が高かった側が勝ったのが818局だった(勝率93%)
つまり、相手より一致率が低くて勝った例は7%しかない
また、60%未満の一致率で勝った例は3.6%しかない
急所で間違えなければ一致率40%でも勝てるようなことはないのだ
反対に、一致率80%台で負けたのは7%しかない
省4
16: 2019/08/25(日)17:28 ID:pGRg7V+g(2/2) AAS
これ見ると相手の最善率低いしやっぱり藤井は強い相手と多くやってないから
最善が指しやすいわけだ
17: 2019/08/25(日)17:39 ID:TwlR4oFB(1) AAS
最前だけでなく2番目3番目も正解にしないとな
18(2): 2019/08/25(日)17:55 ID:xw7W/nEQ(1) AAS
>>14
これだろ
一致率の欠点って調査に使ったソフトと棋風が似てる棋士だけ有利になるところじゃねーか？
特に今はソフトで研究するのが主流になってるから調査ソフトと同じソフトを研究で使ってる棋士と別のソフトを研究に使ってる棋士とで同じ強さでも一致率変わってくるんじゃねーの？
複数のソフトで調べて平均を取るとかするなら分かるんだけど
そうじゃないなら最善手-10くらいまでの手は別のソフトなら最善手の可能性ありとして扱いを変えたほうがいい
まあ調査が凄い面倒なことになりそうだからある程度は妥協するしかないんだろうけど
19: 2019/08/25(日)17:55 ID:Ayy8DYu9(3/3) AAS
試しに単純に評価値の下落の大きいものをチェックしてみる手はあるんじゃないか？
500点差の悪手を指した場合の勝率、1000点差の悪手を指した場合の勝率・・・
なんかをデータとして出していったら
何点差の悪手が大悪手としてふさわしいかも見えてくるんじゃないかと思う
それでも大変なのかもしれないけどｗ
20(5): ◆f7OmZ9ucu2 2019/08/25(日)17:55 ID:drQ8F6x8(9/16) AAS
>>14
その疑問はごもっともで以前からあったはず
ソフトの最善手との一致率を採用するのが良いのか、次善手を含めた広義の一致率のほうがいいのか
つまり、最善手だけにすると次善手が多い棋士(いると仮定して)の評価が過小になるし、次善手を含めた一致率では解析が甘くなって強さの判定に向いていないといったことになる
どうしたら解決するか
実を言うと、ソフトが最初に選んだ最善手ではなくとも評価値がさほど変わらない手ならば最善手と認定してくれる解析方法がある
>>1の表はその方法で一致率を調べたものなのでEloレートとの高い相関を得ることに成功したと認識している
その方法というのが逆順での解析だった
?探索エンジンのMutiPvを1にする
?ShogiGuiの棋譜解析で候補手を1にする
省2
上下前次1-新書関写板覧索設栞歴
あと 982 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.311s*