大型语言模型在多轮对话中表现下滑，为何易迷失方向？

大型语言模型（LLMs）作为对话接口，能够在用户明确任务需求时提供帮助。然而，LLMs还具备通过多轮对话辅助用户定义、探索和优化需求的能力。尽管对LLMs的使用日志分析显示，用户指示中的未明确定义情况非常常见，但大多数现有的LLM评估仍然集中在单轮、完全指定指令的设置上。 为了探究这一现象，研究团队进行了一系列大规模模拟实验，旨在比较LLMs在单轮和多轮对话中的表现。这些实验覆盖了六种生成任务，测试对象包括市面上顶级的开源和闭源LLMs。实验结果显示，在多轮对话中，所有被测试的LLMs性能显著下降，平均降幅达到39%。通过分析超过20万个模拟对话，研究团队将性能下降的原因分解为两个主要部分：一是能力的轻微损失，二是可靠性的大幅降低。 具体而言，LLMs在早期对话中往往做出了过多假设，并提前尝试生成最终解决方案。这导致一旦它们在对话过程中出现错误理解，后续的对话几乎无法纠正这一错误。换句话说，当LLMs在对话中走错了路，就很难再找回正确的方向。 这一发现对LLMs的实际应用具有重要意义。它表明，尽管LLMs在处理单轮对话时表现出色，但在多轮对话中却容易陷入误解，并难以自纠。这对需要多次互动以明确复杂任务的场景提出了挑战。此外，这一问题也揭示了当前LLMs设计上的一个盲点，即如何在动态、不确定的对话环境中保持高效率和准确性。 业内人士认为，这项研究深入探讨了LLMs在复杂任务处理中的局限性，揭示了其在未来改进的方向。例如，开发者可以加强模型的记忆能力和上下文理解能力，确保在多轮对话中不会迷失方向。同时，这项研究也进一步强调了在多轮对话性能评估方面建立更全面标准的重要性，以便更准确地反映LLMs在真实应用场景中的表现。 参与本研究的科研人员来自全球知名院校和机构，具备深厚的语言模型和人机交互研究背景。该项目得到了多个国际科技公司的支持，体现了业界对LLMs未来发展的重视。