RAPTOR: 트리 구조화 검색을 위한 재귀적 추상적 처리

검색 보강형 언어 모델은 세계 상태의 변화에 더 잘 적응하고 긴 꼬리 지식(long-tail knowledge)을 통합할 수 있다. 그러나 기존 대부분의 방법은 검색 코퍼스에서 단순히 짧은 연속된 청크(chunk)만을 검색하기 때문에 전체 문서 맥락에 대한 포괄적인 이해가 제한된다. 본 연구에서는 텍스트 청크를 재귀적으로 임베딩하고, 군집화하며, 요약하는 새로운 접근법을 제안한다. 이를 통해 하위에서 상위로 나아가는 다양한 요약 수준을 가진 트리 구조를 구축한다. 추론 시점에 RAPTOR 모델은 이러한 트리에서 검색을 수행하며, 다양한 추상화 수준에서 긴 문서 내 정보를 통합한다. 통제 실험을 통해 재귀적 요약을 활용한 검색은 전통적인 검색 보강형 언어 모델에 비해 여러 작업에서 현저한 성능 향상을 보였다. 특히 복잡하고 다단계의 추론을 요구하는 질의 응답 작업에서는 최신 기술 수준의 성능을 달성하였으며, 예를 들어 RAPTOR 검색을 GPT-4와 결합함으로써 QuALITY 벤치마크에서 최고 성능을 20% 이상 절대 정확도로 향상시킬 수 있었다.