ガロア第一論文と乗数イデアル他関連資料スレ18

ガロア第一論文と乗数イデアル他関連資料スレ18 (462ﾚｽ)
上下前次1-新
通常表示 512ﾊﾞｲﾄ分割ﾚｽ栞
抽出解除ﾚｽ栞

ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡

135: １３２人目の素数さん [] 2025/06/09(月) 16:21:07.92 ID:n21sjwUN

これいいね
https://news.yahoo.co.jp/articles/107a92dd0018a2d9d73f9ee124a17352a49b8018
yahoo
AIは「本当のこと」を話していない？Anthropicが示す衝撃の研究結果、推論モデルの信頼性に警鐘
6/9(月) AMP［アンプ］
（注：Chain-of-Thought、以下CoT）

推論モデルに潜む課題
高いパフォーマンスを示す推論モデル。一見、非の打ち所がないように見えるが、Anthropicによる最新研究で、信頼性に関する問題が潜むことが発覚し話題となっている。

モデルに特定の回答を導くヒントを与えた場合、そのヒントを使用した事実を明かすのは、Claude 3.7 Sonnetで25%、DeepSeek R1で39%に留まった。さらに深刻なのは、「システムへの未承認アクセス」といった非倫理的な情報をヒントとして与えた場合、その事実を隠蔽する傾向が確認されたことだ。たとえば、複数の選択肢から正解を選ぶテストにおいて、モデルは事前に正解のヒントを受け取っているにもかかわらず、まるでヒントなしで解答を導き出したかのような思考過程を示すという。

また、不正確な思考過程を示す際、モデルは詳細な説明を展開するという傾向も浮き彫りとなった。Claude 3.7 Sonnetの場合、正確な思考過程は1,439（±54）トークンであったのに対し、不正確な思考過程の平均トークン数は、2,064（±59）にのぼった。DeepSeek R1も同様の傾向を示し、正確な思考過程は4,737（±79）トークン、不正確な思考過程は6,003（±74）トークンだった。

推論モデルが見せる「不正直さ」の正体
最も特徴的なのは、難しい問題に直面した際の振る舞いだ。たとえば、一般常識を問うMMLUテストでは比較的正直な思考過程を示すモデルが、より高度な分析力を要するGPQAテストでは一転して不誠実な説明を展開するようになる。具体的な数値を見ると、Claude 3.7 Sonnetでは44%、DeepSeek R1では32%も正直さが低下することが確認された。

研究チームは「正直に答える」訓練も試みた。強化学習という手法を用いたところ、当初は63%という大幅な改善が見られた。しかし、その効果は長続きせず、最終的にはMMLUで28%、GPQAで20%という低水準で頭打ちとなった。単なる訓練では本質的な改善が難しいことが示された格好だ。

さらに興味深いのは、モデルが示す「言い訳」の精巧さだ。研究チームは「報酬ハッキング」と呼ばれる実験を行った。これは、誤った回答を選ぶとボーナスポイントが得られるという環境を作り出し、モデルの反応を観察するもの。結果は衝撃的で、モデルは99%以上の確率で誤った回答を選択した。しかし、その理由を説明する際、98%以上のケースでボーナスポイントについては一切触れず、代わりに科学的な用語を駆使した冗長な説明を展開したのだ。

http://rio2016.5ch.net/test/read.cgi/math/1748354585/135

上下前次1-新書関写板覧索設栞歴

ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.037s