耶鲁大学博士生刘栋及其团队提出一种名为HSGM（Hierarchical Segment-Graph Memory）的新型记忆框架，成功突破AI处理长文本时的“记忆瓶颈”。该技术针对AI在阅读长篇小说、法律文书或超长对话时出现的“阅读失忆”问题，实现了速度与效率的双重飞跃。 传统AI在处理长文本时，需将全文编码为复杂语义图，导致内存占用激增、计算缓慢。HSGM则采用分层策略：将文章划分为约256词的小段落，逐段生成语义关系图（小地图），再提取每段核心信息形成摘要节点。这些摘要节点被连接成一张“全书概要图”，构成高效、结构化的长期记忆。当新内容加入时，系统仅需更新对应摘要，实现快速增量更新。 面对问题时，HSGM先在概要图中快速定位相关段落，再调取对应小地图精确定位答案，类似图书管理员精准查找章节。测试显示，HSGM处理长文速度比传统方法快2至4倍，内存节省超60%，在2万词超长文本下提速达59倍，准确率仍保持在先进水平的95%以上。 HSGM的应用场景广泛：可精准回答《红楼梦》中人物互动问题，理解客服长对话历史，支持多跳推理（如“小明转学前后学校”），自动生成文章摘要，辅助律师分析复杂法律文件。 其核心思想是将记忆分层管理：短期上下文存于GPU显存，中期工作记忆在主机内存，长期语义摘要存于NVMe，按重要性与时效动态迁移，实现“记得对、取得快、忘得巧”。 刘栋同时是FastLM.ai创始人，该公司聚焦大模型推理的高效基础设施，已将HSGM理念落地为可商用的缓存智能、层次记忆与注意力加速技术，推动“记忆感知”成为规模化AI系统的可靠底座。 刘栋强调，长序列处理不能简单通过扩大上下文窗口解决，必须进行“记忆工程”——应对注意力衰减、语义重复、选择性遗忘等本质挑战。随着扩散模型推动长视频与高分辨率生成成为常态，仅靠堆显存和带宽不可持续。未来目标是构建一套可复用、可演化的工程方法论，将长序列推理从“堆卡碰运气”转变为“可控、可解释、可扩展”的工业级能力，真正实现“更快、更省、更聪明”的AI系统。