5 days ago
MemOS：一种用于AI系统的内存操作系统
Zhiyu Li, Shichao Song, Chenyang Xi, Hanyu Wang, Chen Tang, Simin Niu, Ding Chen, Jiawei Yang, Chunyu Li, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Junpeng Ren, Huayi Lai, Hao Wu, Bo Tang, Zhenren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofeng Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong
摘要
大型语言模型（LLMs）已成为实现通用人工智能（AGI）的重要基础设施，但其缺乏明确定义的内存管理系统阻碍了长上下文推理、持续个性化和知识一致性的发展。现有的模型主要依赖静态参数和短暂的上下文状态，限制了它们在较长时间内跟踪用户偏好或更新知识的能力。虽然检索增强生成（RAG）引入了外部知识以纯文本形式存在，但它仍然是一种无状态的权宜之计，缺乏生命周期控制或与持久表示的集成。近期的研究从内存层次结构的角度对LLMs的训练和推理成本进行了建模，表明在参数内存和外部检索之间引入显式的内存层可以通过外部化特定知识显著降低这些成本。除了计算效率之外，LLMs还面临着更广泛的信息分布随时间和上下文变化带来的挑战，需要能够管理不同时间尺度和来源的异构知识的系统。为了解决这一挑战，我们提出了MemOS，一种将内存视为可管理系统资源的内存操作系统。它统一了纯文本、基于激活和参数级别的内存表示、调度和演化，实现了成本高效的存储和检索。作为基本单元，MemCube封装了内存内容及其元数据，如出处和版本信息。MemCubes可以随着时间进行组合、迁移和融合，从而实现不同类型内存之间的灵活转换，并将检索与基于参数的学习桥接起来。MemOS建立了一个以内存为中心的系统框架，为LLMs带来了可控性、可塑性和可演化性，为其持续学习和个人化建模奠定了基础。