理解LLM需求：用于检索增强生成的双重偏好对齐

检索增强生成（RAG）在缓解大规模语言模型（LLMs）的幻觉问题方面已经展现出有效性。然而，将检索器与各种 LLMs 的知识偏好对齐的难度不可避免地成为开发可靠 RAG 系统的一个挑战。为了解决这一问题，我们提出了一种通用框架 DPA-RAG，旨在实现 RAG 系统内部不同知识偏好的对齐。具体而言，我们首先引入了一个偏好知识构建管道，并结合了五种新颖的查询增强策略来缓解偏好数据稀缺的问题。基于偏好数据，DPA-RAG 实现了外部和内部的偏好对齐：1）它将成对、逐点和对比偏好对齐能力集成到重排序器中，实现了 RAG 组件之间的外部偏好对齐；2）它在常规监督微调（SFT）之前引入了一个预对齐阶段，使 LLMs 能够隐式地捕捉与其推理偏好一致的知识，从而实现 LLMs 的内部对齐。实验结果表明，在四个知识密集型问答数据集上，DPA-RAG 均优于所有基线方法，并且能够无缝集成黑盒和开源的 LLM 阅读器。进一步的定性分析和讨论也为实现可靠的 RAG 系统提供了实证指导。我们的代码已公开发布在 https://github.com/dongguanting/DPA-RAG。