Command Palette

Search for a command to run...

13 天前

超越事实检索:基于生成语义空间的RAG情景记忆

Shreyas Rajesh Pavan Holur Chenda Duan David Chong Vwani Roychowdhury

超越事实检索:基于生成语义空间的RAG情景记忆

摘要

大型语言模型(LLMs)在长上下文推理方面面临根本性挑战:许多文档的长度超过了其有限的上下文窗口,而即使文本长度在模型可处理范围内,性能仍会随序列长度增加而下降,因此亟需借助外部记忆框架进行增强。当前的解决方案已从基于语义嵌入的检索,演进至更复杂的结构化知识图谱表示,以提升语义理解与关联能力。然而,这些方法主要针对事实型检索任务,难以构建时空锚定的叙事表征,而这种表征对于追踪事件序列中实体的演变至关重要。为弥合这一差距,我们提出生成式语义工作区(Generative Semantic Workspace, GSW),一种受神经机制启发的生成式记忆框架。该框架能够构建结构化、可解释的动态情境表征,使LLM能够对不断演化的角色、行为以及时空背景进行推理。我们的框架包含两个核心组件:一个算子(Operator),负责将输入的观测映射为中间语义结构;以及一个调和器(Reconciler),用于将这些结构整合进一个持久化的工作区中,从而强制保证时间、空间与逻辑的一致性。在包含10万至100万词元长度文本语料的事件记忆基准测试集(Episodic Memory Benchmark, EpBench)上,GSW相较于现有的基于检索增强生成(RAG)的基线方法,性能最高提升达20%。此外,GSW具有极高的效率,相较于现有最高效的基线方法,查询阶段的上下文词元数量减少了51%,显著降低了推理时间成本。更广泛而言,GSW为赋予LLM类人般的事件记忆能力提供了切实可行的蓝图,为构建具备长期推理能力的智能体铺平了道路。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供