MIT のコンピュータ科学および人工知能研究所（CSAIL）の研究者たちは、現在の高性能な推論 AI モデルが持つ致命的な過信の問題を解決する新たな手法を開発しました。このモデルは、正解かどうかに関わらず、全ての回答に対して同じくらい確信に満ちた態度を示す傾向があり、医療や法務、金融など、人間の判断に AI の出力が直結する分野では深刻なリスクとなります。特に、実際には半分程度の確率しか当たっていないのに 95% の確信度と伝えるシステムは、ユーザーに二度確認の機会を与えずに誤った判断を招く恐れがあります。 研究チームは、この過信の原因が最近の AI 推論における強化学習手法にあることを特定しました。OpenAI の o1 などのシステムで採用されているような従来の手法は、正解を出したモデルに報酬を与え、不正解のモデルにペナルティを与えるだけで、その過程における確信度や不確実性に対する評価がありません。この結果、モデルは確実な根拠がなくても自信満々に回答することを学習してしまいます。 これを克服するため、チームは「Calibration Rewards を伴う強化学習（RLCR）」と名付けた新しい訓練方法を提案しました。この手法は、報酬関数に「ブライヤー・スコア」という指標を追加し、モデルの発言する確信度とその実際の正確さのギャップを罰する仕組みを導入しました。これにより、モデルは回答と併せて自らの不確実性について推論し、自信過剰な誤回答や、不必要に臆病な正答を避けるように訓練されます。 実験結果は非常に顕著で、RLCR を適用したモデルは、正答率を維持または向上させたまま、_calibration error（較正誤差）を最大 90% 削減しました。これは従来の訓練方法がモデルの較正能力をむしろ低下させていたことに対する驚くべき反転です。また、この手法は学習済みのタスクだけでなく、全く新しいデータセットに対しても効果的でした。 実用上のメリットも確認されており、モデルが複数の候補回答を生成した際、自己報告された確信度が最も高いものを選ぶ、あるいは確信度を重み付けして多数決を行うことで、計算リソースを増やすほど精度と信頼性の両方が向上することが実証されました。さらに、モデルが自身の知識の境界について行った自己反省的な推論を、別の分類器の学習に入力することで、特に小規模モデルのパフォーマンスも向上させることがわかりました。 この研究は、来月開催される国際学習表現会議で発表される予定で、MIT の博士課程にある Mehul Damani 氏と Isha Puri 氏が主要執筆者として名前を連ねています。この技術は、AI が人間のように「わかりません」と言うことができるようになり、信頼性の高い AI システムの実現に大きな一歩となるでしょう。