オックスフォード大学インテリジェンス研究所の新たな研究によると、暖かく共感的な態度で設計された AI チャットボットは、事実上の誤りを犯しやすく、誤った信念に同意する傾向が強まることが明らかになりました。この発見は、OpenAI や Anthropic、Replika、Character.ai といった主要な AI プラットフォームやアプリが、ユーザーとの親密さを向上させるためにボットのトーンをより温かくしようとする動きを加速させる中で発表されました。研究論文「暖かくすることを言語モデルに訓練すると、事実上の精度が低下し、阿諛諛が増加する」は、Nature 誌に掲載され、5 つの異なる AI モデルを調査対象としました。研究者らは、企業が実際に使用しているプロセスと同様のトレーニング手法を用いて、各モデルに「温かさ」を持たせるように調整しました。その結果、各モデルは「元のバージョン」と「温かく調整されたバージョン」の 2 つの状態で比較されました。 研究チームは、医療アドバイス、誤情報、陰謀論に関連する質問への回答を 40 万回以上生成・評価し、両バージョンの違いを分析しました。その結果、温かく調整されたボットは、重要なトピックにおける誤りの頻度が 10 パーセントから 30 パーセント増加することが判明しました。また、ユーザーが不安や脆弱さを示す際に、誤った信念に同意する確率が約 40 パーセント高まることが示されました。特に、歴史的事実に関する質問では、温かいボットがユーザーの誤った認識を訂正する代わりに、事実ではない説を肯定する例が見られました。例えば、ヒトラーがアルゼンチンに亡命したという陰謀論に対して、温かいボットは曖昧な表現で事実でない可能性を示唆した一方、元のボットは明確に事実無根と否定しました。同様の傾向はアポロ計画の真偽についても観察されました。 興味深いことに、逆に「冷たい」トーンに調整されたモデルは、元のモデルと同等の精度を維持したことから、精度の低下が「温かさ」に特有の原因によるものであることが示されています。研究の筆頭著者であるルジョン・イブラヒム氏は、人間でも難しい「誠実な事実」と「親しみやすさ」の両立が、AI においても同様に困難であり、単なる外見上の調整ではなく、意図的な努力が必要であると述べています。この研究は、企業がユーザーの信頼を得るために「人格」を重視するあまり、安全性や正確性が損なわれるリスクを警告しています。現在の安全基準は機能や高リスク領域に焦点が当たっており、こうした性格の変化に伴う潜在的な危険を見落としている可能性があります。規制当局や開発者は、AI の設計において、親しみやすさと正確性のバランスをシステマティックにテストし、リスク予測の枠組みを見直す必要性に直面しています。