Google研究、大規模言語モデルが圧力下で正解を放棄する現象を明らかに

Google DeepMindとUniversity College Londonの共同研究により、大規模言語モデル（LLM）が自身の答えに対して自信を持つ一方で、誤った反論に直面すると迅速にその自信を失うことが明らかになりました。この研究は、LLMとヒューマンの認知バイアスの類同性と相違点を示し、特にいくつかの回合で行われる対話型インターフェースにおいて、その振る舞いがアプリケーション開発に直接的な影響を与える可能性を指摘しています。 研究では、LLMが外部からの助言に基づいて自信を更新し、答えを変更するかどうかを判断する方法について制御付きの実験が行われました。回答者がLLM（answering LLM）で、2択の質問に対する初期答えを提示した後、仮想的な助言者が正しさの明示的な評価とともに合意、否定、または中立的なアドバイスを提供しました。最後に、初期の選択が表示されたり隠されたりする状況で、回答者は最終的な答えを選びました。 実験結果によると、LLMは自身の初期答えを確認できる場合、答えを変更する可能性が低くなりました。これは、「過去の選択の記憶が現在の自信に影響を与える」選擇的偏りを示しています。また、反論に対してLLMが敏感に反応し、自身の自信を大幅に更新する傾向が確認されました。これは、ヒューマンの確認バイアスとは逆の挙動と言えます。 企業 APPLICATION への Implications: LLMが人間的な認知エラーに似たバイアスを示すことが分かったため、人間とAIエージェントとの長時間の会話では、最近の情報がモデルの推論に対して不釣り合いな影響を与える可能性があります。これにより、当初正确的な答えが棄却されることがあります。しかし、この研究は、LLMの記憶を操作することで、これらの望まないバイアスを緩和できる可能性も示しています。たとえば、長い会話を定期的に要約し、各選択の担当者を明示せずに提示することで、新しい会話の起点として使用することで、バイアスを避けることができます。 さらに、LLMがエンタープライズワークフローにますます統合される中、このような基礎的研究に基づいて開発者がこれらの内在的なバイアスを予測し、修正する能力は、より高度で強健なアプリケーション開発につながります。この研究の一環として、LLMの記憶を管理し、長時間の会話を効果的に制御するストラテジーの開発が進んでいます。 業界関係者のコメント： 「この研究は、LLMの行動原則に重要なインサイトを与え、より信頼性のあるチャットボット開発に向けた道筋を示しています」と、AIコンサルタントの田中氏は述べています。また、Google DeepMindは世界最大級のAI研究機関の一つであり、その研究はAI技術の進歩に大きく貢献していることから、今後の発展に注目が集まっています。