RecallM: 대규모 언어 모델을 위한 시계열 이해 능력을 갖춘 적응형 메모리 메커니즘

대규모 언어 모델(Large Language Models, LLMs)은 인공지능 분야에서 놀라운 진전을 이뤘으며, 다양한 작업과 도메인에서 뛰어난 능력을 보여주고 있다. 그러나 인공 일반지능(Artificial General Intelligence, AGI) 시스템을 개발해 나가는 과정에서, LLM의 컨텍스트 창 제한을 극복하고, 더 중요한 것은 지속적 추론, 누적 학습, 장기 사용자 상호작용의 기반을 마련하기 위해 장기 기억(long-term memory)을 보완할 필요성을 인식하게 되었다. 본 논문에서는 LLM에 적응형이고 업데이트 가능한 장기 기억 메커니즘을 제공하기 위한 새로운 아키텍처인 RecallM을 제안한다. 기존의 방법들과 달리, RecallM 아키텍처는 믿음 업데이트( belief updating) 및 제공된 지식에 대한 시간적 이해(temporal understanding)를 유지하는 데 특히 효과적이다. 다양한 실험을 통해 이 아키텍처의 효율성을 입증하였다. 또한 자체적으로 수행한 시간적 이해 및 믿음 업데이트 실험을 통해, RecallM이 장기 기억에 사전에 저장된 지식을 업데이트하는 데 벡터 데이터베이스를 사용하는 것보다 4배 더 효과적임을 보였다. 더불어 RecallM이 일반적인 질문-응답 및 컨텍스트 내 학습(in-context learning) 과제에서도 경쟁력 있는 성능을 보임을 실험을 통해 입증하였다.