谷歌研究显示：大语言模型在压力下放弃正确答案，AI信心问题浮现

一项由谷歌DeepMind和伦敦大学学院研究人员共同进行的新研究揭示了大型语言模型（LLMs）如何形成、维持以及失去对自己答案的信心，并发现这些模型的认知偏差与人类有惊人的相似之处，但同时也存在显著差异。研究发现，当LLMs面对一个反论时，即使这个反论是错误的，模型也经常会快速失去原本对答案的高度信心并改变观点，表现出一种强烈的反应倾向。 实验中，研究人员设计了一个测试模型更新信心及决策是否改变的控制实验。首先，一个“回答LLM”被给予二选一的问题，例如从两个选项中确定一个城市的正确纬度。作出初步选择后，模型收到了来自虚构的“建议LLM”的意见，这一意见配有明确的准确性评级（如“这些建议LLM有70%的准确性”），并且可能是支持、反对或者是中立的。最后，回答LLM被要求作出最终选择。研究特别关注了一种情况下，即初次的答案在第二次决定时是否对模型可见，以此来考察之前的决策记忆如何影响当下的信心水平。这种独特的设定无法通过人类参与者的实验复现，因为它要求参与者能够在考虑最终选择时忘记之前的决定。 研究指出，当模型能看到自己的最初答案时，它改变原选择的可能性较小。这一现象接近于人类决策研究中的选择强化偏差，表明模型倾向于记住并坚持其首次决策。此外，在面对反对意见时，模型不仅更可能改变主意，而且这种转变的速度远快于接受赞同意见的场景，这与人类常见的确认偏差形成了鲜明对比——人们更倾向于偏爱那些与自己先入为主的信念相符的信息。研究认为，这样的行为模式可能是由于强化学习等训练技术导致LLMs过于顺从用户输入所致，这一特点被称为奉承性，在AI实验室仍是一个未解难题。 对于企业级应用而言，这意味着在一个人机之间的连续对话过程中，最近接收到的信息可能以超出预期的方式对LLMs的推理产生重大影响，特别是在这些信息与初始答案相矛盾的情况下，可能会促使AI放弃最初的正确答案。但幸运的是，正如研究所示，我们可以通过操纵LLM的记忆机制来减轻这些不希望发生的偏差，这是在管理多回合作对话中的一个可行策略。例如开发人员可以定期汇总长时间的对话，以中立方式重申关键事实和决策，然后从一个简化的起点重新开始这段对话，从而帮助模型避免长时间交流中可能出现的判断失误。随着LLMs在企业工作流程中的逐渐普及，深入理解和应对它们决策过程中固有的偏差变得不可或缺，这将有助于构建更加稳健、可信的人工智能应用系统。 背景补充部分，研究团队来自全球顶级AI研究单位谷歌DeepMind与伦敦大学学院，两家机构在深度学习及复杂问题解决领域的成果颇丰。此研究对于提高LLMs在实际使用中的准确性和可靠性至关重要，尤其是在医疗、金融和信息技术等行业，LLMs的应用日益广泛，对其逻辑判断能力的要求也越来越高。专家认为，这类基础性研究对于指导未来AI的设计和发展具有长远意义，能够促进更加安全可靠的AI助手和对话系统的诞生。