19 小时前

ComoRAG:一种面向有状态长篇叙述推理的认知启发式记忆组织RAG

Juyuan Wang, Rongchen Zhao, Wei Wei, Yufeng Wang, Mo Yu, Jie Zhou, Jin Xu, Liyan Xu
ComoRAG:一种面向有状态长篇叙述推理的认知启发式记忆组织RAG
摘要

长篇故事与小说的叙事理解一直是一个极具挑战性的领域,其原因在于这类文本往往具有复杂曲折的情节线,以及角色与实体之间错综复杂、时常动态演变的关系网络。鉴于大语言模型(LLM)在处理长上下文时推理能力下降且计算成本高昂,基于检索的方法在实践中仍占据关键地位。然而,传统的检索增强生成(RAG)方法因采用无状态、单步检索机制,往往难以捕捉长距离上下文中相互关联的信息动态,因而存在局限性。为此,本文提出一种名为 ComoRAG 的新方法,其核心思想是:叙事推理并非一次性的过程,而是一个动态演进的交互过程,即在获取新证据与整合已有知识之间不断循环迭代,这一机制与人类大脑在记忆相关信号驱动下的认知推理过程高度相似。具体而言,当遇到推理瓶颈时,ComoRAG 会通过与一个动态记忆工作空间持续交互,进入多轮迭代推理循环。在每一轮中,它会生成探针式查询以探索新的推理路径,并将新获取的证据整合至全局记忆池中,从而为问题的最终解决构建连贯一致的上下文支持。在四个具有挑战性的长上下文叙事理解基准测试(上下文长度超过 20 万 token)上,ComoRAG 均显著优于现有的强基线 RAG 方法,相对最优基线的性能提升最高达 11%。进一步分析表明,ComoRAG 在处理需要全局理解能力的复杂查询时尤为突出,为实现具备状态感知能力的长上下文检索理解提供了一种具有理论依据、受认知机制启发的全新范式。相关代码已公开发布于:https://github.com/EternityJune25/ComoRAG

ComoRAG:一种面向有状态长篇叙述推理的认知启发式记忆组织RAG | 最新论文 | HyperAI超神经