자신을 들어 올리라: 자기 기억을 활용한 검색 증강 텍스트 생성

인간이 작성한 참조 자료를 직접 메모리로 접근할 수 있게 함으로써, 검색 보강 생성(retrieval-augmented generation)은 다양한 텍스트 생성 작업에서 큰 진전을 이뤘다. 더 나은 메모리가 일반적으로 더 나은 생성을 유도하기 때문에(이를 우리는 기본 문제(primal problem)라 정의한다), 기존의 메모리 검색 접근법은 입력과 가장 높은 유사도를 보이는 메모리를 선택하는 방식을 채택하고 있다. 그러나 이러한 방법은 고정된 코퍼스로부터 메모리를 검색해야 하는 점에서 그 품질에 제한을 받는다. 본 논문에서는 이 기본 문제의 이중성(duality)을 탐구함으로써, 더 나은 생성이 더 나은 메모리를 유도할 수 있다는 점에 착안하여, 새로운 프레임워크인 selfmem을 제안한다. selfmem은 검색 보강 생성기(retrieval-augmented generator)를 반복적으로 활용하여 무한한 크기의 메모리 풀을 생성하고, 메모리 선택기(memory selector)를 통해 다음 생성 라운드에 사용할 하나의 출력을 선택함으로써 이러한 제약을 극복한다. 이를 통해 모델은 자신이 생성한 출력, 즉 '자기 메모리(self-memory)'를 활용하여 생성 품질을 향상시킬 수 있다. 우리는 selfmem의 효과성을 세 가지 서로 다른 텍스트 생성 작업—신경망 기반 기계 번역, 추상적 텍스트 요약, 대화 생성—에 대해 두 가지 생성 파라다임(사전 훈련된 소형 모델의 미세조정 및 소량 예시 기반 대형 언어 모델) 하에서 평가하였다. 그 결과, JRC-Acquis, XSum(50.3 ROUGE-1), BigPatent(62.9 ROUGE-1)에서 네 가지 방향에서 최고 수준의 성능을 달성하며, 자기 메모리가 검색 보강 생성 모델의 성능 향상에 미칠 수 있는 잠재력을 입증하였다. 또한, selfmem 프레임워크 내 각 구성 요소에 대한 철저한 분석을 수행하여 성능 저하 요인을 파악하고, 향후 연구를 위한 통찰을 제공하였다.