[過去ﾛｸﾞ] 最新ソフトで棋士の指し手一致率を調査した結果 2 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
582: ◆f7OmZ9ucu2 2019/12/14(土)08:52 ID:blLmFoE5(1/11) AAS
>>575
(1) 指し手は好手、緩手、疑問手、悪手というふうに分類される
一般に悪手率というのはこのような分け方をしたときの悪手数の割合のこと
1局の30手の中に悪手が3手あれば悪手率10%と計算する
局によってまちまちなので平均を出したのが平均悪手率となる
1局平均の悪手数を指標にする場合もある
この場合は1局平均悪手数2.5(手)といった数値になる
普通はこのように理解されているし、使用されている
(2) ShogiGuiの棋譜解析で表示される悪手や悪手率もこの悪手なんだが、<700や<1500で示される平均悪手の数値は山下方式に則っている別の概念なのでややこしい
山下方式では
省12
583: ◆f7OmZ9ucu2 2019/12/14(土)08:53 ID:blLmFoE5(2/11) AAS
>>575
平均悪手について説明したついでにID:rHvh+CaLのようにトンチンカンな講釈をする輩もいるので、平均悪手の何が疑問、あるいは問題なのか整理してみたい
その１
なぜ強さの指標として一般的に評価されやすい一致率や、(1)の悪手率に着目しなかったのか？
そんなはずはない
GPSfishというソフトでは、一致率や悪手率が強さの指標として思わしい結果が出なかったから採用に至らなかったわけだ
つまり、GPSfishの一致率や悪手率は精度が足りなかったのだ
なのになぜ平均悪手なら有効といえるのか？これは大きな疑問だ
584(1): ◆f7OmZ9ucu2 2019/12/14(土)09:00 ID:blLmFoE5(3/11) AAS
その２
山下は対象とする局面を制限しているが、当然、制限局面の設定を変えれば平均悪手も変わる
その結果、制限局面の設定条件次第で異なる結果が出るので山下研究への疑問となっている
竹内は2015年に山下と同様に対象局面を<10に制限してGPS等4種類のソフトで平均悪手とEloレートの相関を調べたが｢相関はみられなかった｣
そのとき、局面を<10に制限すると終盤の局面のほとんどが対象外になってしまうことに疑問をもった
そこで、評価値ではなく悪手の回数だけに変更して(悪手の定義は山下方式と同じ)<50の局面まで調べたところEloレーティングと強い相関が確認できたという
ここで<10とあるのは当時の評価値の仕様で現在の評価値の置き換えると<1000に相当する
<50は<5000を意味するので竹内は悪手の回数を調べるのに最後の詰の局面以外のほとんどを対象にしたということだ
ShogiGuiでは<700と<1500の両方で平均悪手を出しているから山下の平均悪手<10はこの中間の<1000での平均悪手を調べたことになるわけだ
さらに、山下の先行研究に対して2018年にGikou2で再調査したのが馬場と伊藤両名による論文だ
省1
585: ◆f7OmZ9ucu2 2019/12/14(土)09:06 ID:blLmFoE5(4/11) AAS
この論文は次のようになっている
?局面を<1000に制限した場合
これは、山下の<10と同じ研究なのだが、彼らは｢平均悪手｣は通常の悪手と混同されやすいために｢平均損失｣という用語に変えている
これによるとクエストの棋譜では平均損失は300点台から100点弱までの値となっている
クエストのレーティングの2200あたりまでは平均損失が小さいほどレートが高いという関係が見られるが、それ以上のレートでは比例しなくなり、横這いになっている
つまり、平均損失が100前後あたりまで小さくなると強さの峻別に平均悪手は有効でなくなることを示している
馬場らは局面評価<100での平均損失とレーティングの関係もグラフにしていて、<1000の結果と同様に
｢レーティングが上昇するにつれて平均損失も上昇する傾向が見られることがわかった．また， レーティングが 2000 以上でグラフが単調増加しない場合 があることも観察された｣と記している
要するに見てわかる通り横這い(むしろダウン)しているのだ
ここで、俺が調べたトップ棋士の平均悪手表をもう一度見てくれ
省3
586: ◆f7OmZ9ucu2 2019/12/14(土)09:08 ID:blLmFoE5(5/11) AAS
?平均損失と100プロットのレートとの相関係数
この論文では局面評価数ごとの相関係数も調べている
これによると対象局面を<1000に制限した場合に(前半40手は除外する)1局平均で10局面が対象となり200局面(つまり20棋譜)のときの0.9超が最大で、それ以上の棋譜を解析しても相関係数は上がらない(むしろ下がる)という結果になった
<300の場合も20棋譜あたりが0.85で最大を示し、50棋譜になると0.6を下回り、100棋譜で0.8まで戻っている
同じようにレート100のプロットごとに調べた一致率の相関係数なら0.98もあった
0.98という強い相関があっても全棋士のレーティングとの相関係数は0.7にしかならなかった
平均悪手(損失)のように、プロットでの相関係数が最大でも0.9がやっとでは個々の棋士の強さまで峻別する精度の指標にはなりえないことが判明したことになる
しかも、アマの棋力との相関ですらこの程度で、プロの棋力との相関はまったく確認できなかった
さらに致命的なのは解析する棋譜を増やしても精度が上がらず、むしろ低下していることだ
これは棋譜数を増やせば増やすほどイレギュラー値が入り込んでしまうからと考えられる
587: ◆f7OmZ9ucu2 2019/12/14(土)09:16 ID:blLmFoE5(6/11) AAS
その３
山下は勝敗等の成績と無関係に純粋に棋譜の内容(平均悪手)から棋力(Eloレーティング)が推定できるとしているが、これは辻褄が合っていない
平均悪手で強さが分かるのであれば、勝った側の平均悪手は負けた側の平均悪手より小さいという命題が成立しなければならない
例外はあっても傾向としては必ずそうなる
勝った側と負けた側で平均悪手が違わないのであれば、平均悪手は強さの指標として有効でないことになるからだ
すると、どうなるか？
集めた棋譜に偏りがあれば、勝局が多く集まった棋士の平均悪手は小さくなり、逆なら大きくなる
棋士の勝率に合わせて棋譜を集めた場合でも、勝率は対局相手次第で変わるから相手のレベルが違うときや活躍した時代が違う棋士の平均悪手を調べても用をなさないことになる
平均悪手が勝局と敗局で大きな違いがなく棋士による違いのほうが大きいのであれば指標として有効かもしれないが、その場合はむしろ解析したソフトの精度が怪しいことになる
そこで、これを見ていただきたい
省4
589(1): ◆f7OmZ9ucu2 2019/12/14(土)11:41 ID:blLmFoE5(7/11) AAS
>>588
申し訳ない
たぶん、データのズレの誤り
すぐに点検できないので訂正は後程でご容赦を
590: ◆f7OmZ9ucu2 2019/12/14(土)12:02 ID:blLmFoE5(8/11) AAS
>>588,589
点検誤りではなく8月2日の竜王戦の豊島渡辺戦(先手豊島勝ち)の棋譜です
<700の平均悪手なのでこうした数値でした(豊島は<700が6.75)
<1500は見ての通り渡辺は46.08、豊島が4.50となっています
いずれにしても平均悪手が少ない棋譜かな
一致率は豊島85%(悪手0、疑問手0)、渡辺が66%(悪手1、疑問手2)
機械的に解析に掛けているだけなので、誤差の精査なしのデータと承知されたし
591(1): ◆f7OmZ9ucu2 2019/12/14(土)12:10 ID:blLmFoE5(9/11) AAS
その４
となると当然、今のソフトは強くなりすぎてプロ棋士を評価するのに適していないのではないか？
GPSfishで算出した平均悪手が最も人間(プロ棋士)の棋力判定に適している可能性はないのか？
と思われるかもしれない
とんち問答ではないが、だとしたらGPSfishで平均悪手がもっとも小さかった羽生善治がGPSfishにもっとも棋力が近く、他の棋士はGPSfishより弱いかGPSfishより強い棋士ということになるのではないだろうか
真相は集めた棋譜の勝率がもっともよかったのが羽生というだけかもしれないが
そこで、実は1週間前に実験したものがあるのでお見せしたい
ご判断はおまかせする
実験計画
今年の棋譜から3時間以上の棋戦で81手以上121手以内で先手が勝った棋譜を集める
省13
592(1): ◆f7OmZ9ucu2 2019/12/14(土)12:41 ID:blLmFoE5(10/11) AAS
これで、GPSfishの1秒で棋譜解析してプロ棋士の棋力を云々するのがおこがましいのはわかりそうなものだが、今回は決定的なデータが得られた
それが、解析した30局の一致率を先手と後手で比較した棒グラフだ
上がillqha3によるもの、下がGPSfishによるものだ
画像ﾘﾝｸ[png]:i.imgur.com
illqha3の一致率はすべて先手の一致率が高く、その差もハッキリと出ているのに対して、GPSfishのほうは先手(勝ち)より後手(負け)の側の一致率のが高い局が14局もあった
つまり、これらの局ではGPSfishは強い棋士のほうでなく弱い棋士のほうを強い棋士と間違えて評価していることになる
GPSfishの元データは次の通り
太字にしたのが、勝った先手より負けた後手のほうが良いと評価したことを表している
少なくともこれらの局においては、GPSfishはillqha3とは評価値で真逆の評価をしているのだ
こんなソフトで傑出している棋士を評価するなどちゃんちゃらおかしいという結論になるのは当然だろう
省1
593: ◆f7OmZ9ucu2 2019/12/14(土)13:58 ID:blLmFoE5(11/11) AAS
最後に口直しに一致率等の各種ランキングを貼っておく
ランキングは12月13日現在／下位はカット
画像ﾘﾝｸ[png]:i.imgur.com
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 2.119s*