1 个月前
面向代理的 RAG 与深度推理：LLMs 中 RAG 推理系统的综述
Yangning Li, Weizhi Zhang, Yuyao Yang, Wei-Chieh Huang, Yaozu Wu, Junyu Luo, Yuanchen Bei, Henry Peng Zou, Xiao Luo, Yusheng Zhao, Chunkit Chan, Yankai Chen, Zhongfen Deng, Yinghui Li, Hai-Tao Zheng, Dongyuan Li, Renhe Jiang, Ming Zhang, Yangqiu Song, Philip S. Yu
摘要
检索增强生成（Retrieval-Augmented Generation, RAG）通过注入外部知识提升了大型语言模型（LLMs）的事实准确性，但在需要多步推理的问题上表现不佳；相反，纯粹以推理为导向的方法则常常出现幻觉或事实错误定位。本综述从统一的推理-检索视角综合了这两种方法。首先，我们探讨了如何通过高级推理优化RAG的每个阶段（推理增强RAG）。然后，我们展示了不同类型检索到的知识如何提供缺失的前提并扩展上下文，以支持复杂的推理过程（RAG增强推理）。最后，我们重点关注新兴的协同RAG-推理框架，在这些框架中，（代理型）大型语言模型通过迭代地交替搜索和推理，在知识密集型基准测试中实现了最先进的性能。我们对方法、数据集和开放挑战进行了分类，并概述了研究方向，旨在开发更有效、多模态适应、可信且以人为本的深度RAG-推理系统。该综述集合可在 https://github.com/DavidZWZ/Awesome-RAG-Reasoning 获取。