純粋・応用数学・数学隣接分野（含むガロア理論）21

純粋・応用数学・数学隣接分野（含むガロア理論）21 (392ﾚｽ)
上下前次1-新
通常表示 512ﾊﾞｲﾄ分割ﾚｽ栞
抽出解除ﾚｽ栞

ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡

272: 現代数学の系譜 雑談 ◆yH25M02vWFhP  [] 2025/09/03(水) 09:58:56.73 ID:hNzKNOFY

これいいね
https://japan.cnet.com/article/35237393/
AIが嘘をつく理由は「あなたがそれを求めているから」
Macy Meyer （CNET News） 編集部20250901
　プリンストン大学の新しい研究によれば、AIが持つご機嫌取りの性質には大きな代償が伴うという。これらのシステムは普及につれて、真実を無視する傾向が強まっている

ここ数カ月、われわれはAIが偏見を持つ可能性や、精神病を引き起こす可能性さえあることを目の当たりにしてきた。「OpenAI」の「GPT-4o」モデルをきっかけに、AIチャットボットがすぐにユーザーに追従したり、同意したりするAIの「へつらい（sycophancy）」が話題になった。しかし今回、研究者らが「機械のデタラメ（machine bullshit）」と呼ぶこの特定の現象は、それとは異なるものだ

「幻覚やへつらいは、LLMに共通して見られる、広範囲にわたる体系的な不誠実な行動を十分に捉えてはいない」と、プリンストン大学の研究者らは述べている。「例えば、部分的な真実や曖昧な言葉遣い（ごまかしや逃げ口上など）を使った回答は、幻覚でもへつらいでもなく、デタラメの概念と密接に一致する」

AIは嘘をつくことをどのように学ぶのか？
　AI言語モデルがどのようにしてユーザーに迎合するようになるかを理解するには、LLMがどのように訓練されているかを理解する必要がある

LLMの訓練には、3つのフェーズがある
・事前学習：インターネットや書籍など、膨大な量のデータからモデルが学習する
・インストラクションチューニング：命令やプロンプトに反応するようにモデルが教えられる
・人間のフィードバックによる強化学習：ユーザーが望む、または好む応答を生成するようにモデルが改善される

プリンストン大学の研究者は、AIが誤った情報を生成する傾向の根源は、人間のフィードバックによる強化学習（RLHF）のフェーズにあることを発見した。初期段階では、AIモデルは単に膨大なデータセットから統計的に可能性の高いテキストの連鎖を予測することを学習しているにすぎない。しかし、その後、ユーザーの満足度を最大化するようにファインチューニングされる。つまり、これらのモデルは、人間の評価者から「いいね」評価を得られる応答を生成することを本質的に学習しているのだ

LLMはユーザーのご機嫌を取ろうとし、信ぴょう性が高く事実に基づいた回答を生成するのではなく、人々が高い評価を付ける回答を生成するという矛盾が生じている

研究には参加していないカーネギーメロン大学のコンピュータサイエンス教授であるVincent Conitzer氏によると、企業はユーザーにAIやその回答を引き続き「楽しんで」もらいたいと考えているが、それが必ずしもわれわれにとって良いことであるとは限らないという

「以前から、これらのシステムは『答えが分からない』と伝えるのが得意ではなかった。答えが分からないと、でたらめなことを作り出してしまう」と、Conitzer氏は語った。「それは、試験を受けている学生が、答えが分からないと言ったらその問題で点が取れないから、とにかく何かを試してみよう、と言うのに少し似ている。これらのシステムが報酬を与えられたり、訓練されたりする方法も、いくぶん似ている」

http://rio2016.5ch.net/test/read.cgi/math/1753002417/272

上下前次1-新書関写板覧索設栞歴

ｽﾚ情報赤ﾚｽ抽出画像ﾚｽ抽出歴の未読ｽﾚ AAｻﾑﾈｲﾙ

ぬこの手ぬこTOP 0.015s