하루 전

ComoRAG: 상태 유지형 장대한 서사 추론을 위한 인지적 영감을 받은 메모리 조직형 RAG

Juyuan Wang, Rongchen Zhao, Wei Wei, Yufeng Wang, Mo Yu, Jie Zhou, Jin Xu, Liyan Xu
ComoRAG: 상태 유지형 장대한 서사 추론을 위한 인지적 영감을 받은 메모리 조직형 RAG
초록

장편 이야기와 소설에 대한 서사 이해는 복잡한 플롯 구조와 등장인물, 사물 간의 얽히고설킨 관계, 때로는 지속적으로 변화하는 상호작용으로 인해 오랜 기간 동안 도전 과제로 남아왔다. 대규모 언어 모델(LLM)이 장기간의 맥락을 처리할수록 추론 능력이 저하되며, 계산 비용도 높아지는 점을 고려할 때, 검색 기반 접근법은 여전히 실용적으로 핵심적인 역할을 하고 있다. 그러나 기존의 RAG(Retrieval-Augmented Generation) 기법은 상태를 유지하지 않고 단일 단계로만 검색을 수행하기 때문에, 장거리 맥락 내에서 상호 연결된 관계를 동적으로 포착하는 데 한계를 보일 수 있다. 본 연구에서는 서사 추론이 단일 단계의 과정이 아니라, 새로운 증거 확보와 과거 지식의 통합 사이에서 동적으로 진화하는 상호작용이라는 원칙을 기반으로, ComoRAG을 제안한다. 이는 뇌에서 기억 관련 신호를 활용해 추론하는 인간의 인지 과정과 유사하다. 구체적으로, 추론의 진전이 막힐 경우 ComoRAG는 동적 메모리 워크스페이스와 상호작용하며 반복적인 추론 주기를 수행한다. 각 주기마다 새로운 탐색 경로를 설계하기 위해 탐색 쿼리를 생성하고, 새로운 측면의 검색된 증거를 글로벌 메모리 풀에 통합함으로써, 질문 해결을 위한 일관된 맥락의 형성을 지원한다. 네 가지 도전적인 장거리 맥락 서사 벤치마크(20만 토큰 이상)에서 ComoRAG는 강력한 RAG 기준 모델들을 능가하며, 가장 강력한 기준 모델 대비 최대 11%의 일관된 상대적 성능 향상을 보였다. 추가 분석을 통해 ComoRAG는 전반적인 이해가 필요한 복잡한 질문에 특히 유리함을 확인할 수 있었으며, 상태 기반 추론을 향한 검색 기반 장거리 맥락 이해를 위한 체계적이고 인지적 동기를 가진 새로운 패러다임을 제시한다. 본 연구의 코드는 공개적으로 제공되며, https://github.com/EternityJune25/ComoRAG 에서 확인할 수 있다.