MemOS: AI 시스템을 위한 메모리 운영체제

대형 언어 모델(Large Language Models, LLMs)은 인공 일반 지능(Artificial General Intelligence, AGI)의 필수적인 인프라가 되었지만, 명확하게 정의되지 않은 메모리 관리 시스템으로 인해 장기적 맥락 추론, 지속적인 개인화, 그리고 지식 일관성 개발이 제약을 받고 있습니다. 기존 모델들은 주로 정적 매개변수와 단기간 유효한 맥락 상태에 의존하여 사용자의 선호도를 추적하거나 장기간에 걸쳐 지식을 업데이트하는 능력이 제한됩니다. 검색 강화 생성(Retrieval-Augmented Generation, RAG)은 평문 형태의 외부 지식을 도입하지만, 수명 주기를 제어하거나 영속적인 표현과 통합할 수 없는 무상태(stateless) 해결책에 불과합니다.최근 연구에서는 메모리 계층 구조 관점에서 LLMs의 학습 및 추론 비용을 모델링하여 매개변수 메모리와 외부 검색 사이에 명시적인 메모리 레이어를 도입하면 이러한 비용을 크게 줄일 수 있음을 보여주었습니다. 특정 지식을 외부화함으로써 이는 계산 효율성을 향상시키는 역할을 합니다. 그러나 계산 효율성뿐만 아니라, 시간과 맥락에 따라 정보가 분포되는 방식으로부터 발생하는 더 넓은 범위의 문제들이 존재합니다. 이는 다양한 시간 척도와 출처를 가진 이질적인 지식을 관리할 수 있는 시스템이 필요함을 의미합니다.이러한 도전 과제를 해결하기 위해 우리는 MemOS라는 메모리 운영 시스템을 제안합니다. MemOS는 메모리를 관리 가능한 시스템 자원으로 취급하며, 평문, 활성화 기반, 매개변수 레벨 메모리를 통합적으로 표현하고 스케줄링하며 진화시키는 기능을 제공합니다. 이를 통해 비용 효율적인 저장 및 검색이 가능해집니다. 기본 단위인 MemCube는 메모리 내용과 출처(provenance), 버전(versioning) 등의 메타데이터를 포함합니다. MemCubes는 시간에 따라 구성되고 이동되며 융합될 수 있어, 메모리 유형 간 유연한 전환을 가능하게 하며 검색과 매개변수 기반 학습 사이의 연결을 다리는 역할을 합니다.MemOS는 메모리를 중심으로 하는 시스템 프레임워크를 확립하여 LLMs에게 조정 가능성(controllability), 가소성(plasticity), 진화 가능성(evolvability)을 부여하며, 지속 학습과 개인화된 모델링의 기초를 마련합니다.