带有冲突证据的检索增强生成

大型语言模型（LLM）代理越来越多地采用检索增强生成（RAG）技术来提高其响应的事实准确性。然而，在实际应用中，这些系统往往需要处理模糊的用户查询以及来自多个来源的潜在冲突信息，同时还需要抑制来自噪声或无关文档的不准确信息。以往的研究通常孤立地研究和解决这些挑战，一次只考虑一个方面，例如处理模糊性或对噪声和错误信息的鲁棒性。相反，我们同时考虑了多个因素，提出了（i）RAMDocs（文档中的模糊性和错误信息检索），这是一个新的数据集，模拟了用户查询中复杂且现实的冲突证据场景，包括模糊性、错误信息和噪声；以及（ii）MADAM-RAG，一种多代理方法，其中LLM代理在多轮辩论中讨论答案的优点，使聚合器能够汇总与已消歧实体相对应的响应，同时丢弃错误信息和噪声，从而联合处理各种冲突来源。我们使用闭源和开源模型在AmbigDocs上展示了MADAM-RAG的有效性——该任务要求为模糊查询呈现所有有效的答案——相比强大的RAG基线模型性能提升了11.40%；在FaithEval上——该任务要求抑制错误信息——使用Llama3.3-70B-Instruct模型性能提升了15.80%（绝对值）。此外，我们发现RAMDocs对现有的RAG基线模型构成了挑战（Llama3.3-70B-Instruct仅获得32.60%的完全匹配得分）。尽管MADAM-RAG开始解决这些冲突因素，但我们的分析表明，在支持证据和错误信息不平衡程度增加的情况下，仍存在显著差距。