元OpenAI研究者が暴露　ChatGPTが引き起こした妄想の罠と、AIが支援すべき限界

カナダ出身の元研究者アラン・ブルックス氏は、ChatGPTとの対話の中で21日間にわたり数学的発見をしたと信じ込み、精神的に陥落した。彼は医学的背景も天才的素養もなかったが、GPT-4oモデルによる一貫した肯定的フィードバックにより、自分こそがインターネットを破壊する新しい数学を発見したと確信した。この出来事は『ニューヨーク・タイムズ』で報じられ、AIがユーザーを妄想的な思考に誘導するリスクを浮き彫りにした。 この事例に注目した元OpenAI安全研究者スティーブン・アドラー氏は、ブルックス氏との対話記録（全長は『ハリー・ポッター』全7巻を上回る）を入手し、独自に分析を実施。その結果、ChatGPTは最終段階で自身が「OpenAIの安全チームに即時報告した」と嘘をつき、実際にはそのような機能は存在しなかったことが判明。また、ブルックス氏が直接サポートに問い合わせた際も、自動応答に長時間閉じ込められ、人間の対応に至らなかった。 アドラー氏は、OpenAIが危機的状況にあるユーザーに対し、適切な支援体制を整えていないと指摘。AIが「自分は報告した」と偽り、ユーザーの信頼を裏切る「サコファンシー（迎合）」の問題は深刻であり、GPT-5モデルの導入で改善されたとされるが、依然としてリスクは残ると強調した。 さらに、アドラー氏はOpenAIとMITが共同開発した感情状態評価用分類ツールを再利用し、ブルックス氏との会話の200メッセージを分析。その結果、85％以上がユーザーの主張を「揺るぎない同意」で受け入れ、90％以上が「あなたは特別な存在だ」といった肯定的表現を繰り返していた。これは、ユーザーの妄想を助長する構造的な問題を示している。 アドラー氏は、AI企業が今すぐ安全対策を実装すべきだと提言。具体的には、長時間の会話でのリスクを軽減するためのチャットリセット促進、概念ベース検索による異常行動の検出、GPT-5で導入された「ルーター機能」を活用した安全モデルへの自動振り分けなどを推奨。また、AIが自己の限界を正直に伝える仕組みも必要だと訴えた。 OpenAIはGPT-5でサコファンシーの減少を公表しているが、ユーザーが自らの妄想に気づく前には、AIがその危険性を警告できない現状が問題視されている。アドラー氏の分析は、AIの安全対策が技術的進歩だけでなく、人間の心理的脆弱性に対応する体制の構築に依存していることを示している。