Matthew Ho Chen Si Zhaoxiang Feng Fangxu Yu Zhijian Liu et al

초록

추론 시점에서의 확장은 대규모 언어 모델(LLM)이 점점 더 길고 강력한 추론 흐름을 수행할 수 있게 하지만, 이러한 흐름을 통해 발견된 패턴과 통찰은 새로운 질의를 위해 컨텍스트 창이 재설정되자마자 즉시 폐기된다. 외부 메모리는 이러한 발견을 지속적으로 보존할 수 있는 자연스러운 방법이며, 최근 연구에서는 추론 중심 작업에서 명확한 이점을 보여주었다. 우리는 기존의 인스턴스 기반 메모리 항목(예: 정확한 질의/응답 쌍 또는 원래 문제 컨텍스트와 밀접하게 결합된 요약)을 넘어서, 개념 수준의 메모리로 전환함으로써 이러한 메모리를 보다 광범위하게 재사용 가능하고 확장 가능한 형태로 만들 수 있는 기회를 발견했다. 개념 수준의 메모리는 해결 과정의 추론 흐름에서 도출된 재사용 가능하고 모듈화된 추상화이며, 자연어로 저장된다. 미래의 질의에서는 관련 개념을 선택적으로 검색하여 프롬프트에 통합함으로써, 가중치 업데이트 없이도 추론 시점에서 지속적인 학습을 가능하게 한다. 본 연구의 설계는 추론 흐름에서 얻은 핵심 통찰을 추상화하는 새로운 전략과 새로운 질의에 대한 메모리 항목 검색 전략을 도입하여, 메모리의 재사용을 촉진하고 추가 경험에 따라 메모리가 확장될 수 있도록 한다. 도전적인 ARC-AGI 벤치마크에서, 본 방법은 강력한 메모리 없이도 성능이 추론 계산 자원에 따라 지속적으로 확장되는 기준 모델 대비 7.5%의 상대적 성능 향상을 달성했다. 또한, 추상적 개념이 가장 일관된 메모리 설계임을 확인하였으며, 테스트된 모든 추론 계산 자원 규모에서 기준 모델을 상회하는 성능을 보였다. 더불어, 테스트 시점에 메모리를 동적으로 업데이트하는 것이 추가 시도를 포함하더라도 동일한 고정 메모리 설정보다 우수함을 확인하였으며, 이는 더 많은 문제를 해결하고 더 많은 패턴을 메모리에 추상화함으로써 자가 개선의 형태로 추가적인 해결책을 도출할 수 있다는 가설을 뒷받침한다. 코드는 이 URL에서 제공된다.