Command Palette
Search for a command to run...
Shreyas Rajesh Pavan Holur Chenda Duan David Chong Vwani Roychowdhury

초록
대규모 언어 모델(Large Language Models, LLMs)은 긴 컨텍스트 추론 과제에서 근본적인 도전에 직면해 있다. 많은 문서는 모델의 유한한 컨텍스트 창을 초과하며, 컨텍스트에 수용 가능한 텍스트에 대해서도 시퀀스 길이가 길어질수록 성능이 저하되는 경향이 있다. 이로 인해 외부 메모리 프레임워크를 통한 보완이 필수적이다. 기존의 해결 방안은 의미적 임베딩을 활용한 검색에서 출발해, 더 정교한 구조화된 지식 그래프 표현으로 진화하며 의미 해석 능력과 관련성 표현을 향상시켜 왔다. 그러나 이러한 접근은 사실 기반 검색에 적합하며, 사건의 흐름을 따라 실체를 추적하기 위해 요구되는 시공간적 고정된 서사 표현을 구축하지 못한다. 이러한 격차를 메우기 위해 우리는 생성형 의미 작업 공간(Generative Semantic Workspace, GSW)을 제안한다. 이는 신경과학적 영감을 받은 생성형 메모리 프레임워크로, 변화하는 상황에 대해 구조적이고 해석 가능한 표현을 형성하여 LLM이 변화하는 역할, 행동 및 시공간적 맥락을 추론할 수 있도록 한다. 본 프레임워크는 입력 관측치를 중간 의미 구조로 매핑하는 연산자(Operator)와 이를 시간적·공간적·논리적 일관성을 유지하면서 지속 가능한 작업 공간에 통합하는 조정자(Reconciler)로 구성된다. 길이가 10만에서 100만 토큰에 이르는 문서 코퍼스를 포함하는 에피소딕 메모리 벤치마크(Episodic Memory Benchmark, EpBench)에서 GSW는 기존의 RAG 기반 기준 모델보다 최대 20% 높은 성능을 기록하였다. 또한 GSW는 매우 효율적이며, 가장 토큰 효율성이 높은 대안 대비 질의 시 컨텍스트 토큰 수를 51% 감소시켜 추론 시간 비용을 크게 절감한다. 더 넓은 의미에서 GSW는 LLM에 인간과 유사한 에피소딕 기억 능력을 부여하는 구체적인 설계도면을 제시하며, 장기적 추론이 가능한 더 강력한 에이전트 개발의 길을 열어준다.