아틀라스: 검색 기반 언어 모델을 활용한 소수 샘플 학습

대형 언어 모델은 다양한 작업에서 인상적인 소량 샘플 학습(few-shot) 결과를 보여주었습니다. 그러나 질문 응답과 사실 확인 등의 작업처럼 지식이 중요한 경우, 지식을 저장하기 위해 많은 매개변수(massive parameter counts)가 필요하다는 점이 알려져 있습니다. 검색 기반 모델(retrieval augmented models)은 많은 매개변수가 필요하지 않으면서도 지식 집약적 작업에서 뛰어난 성능을 보이는 것으로 알려져 있지만, 이들이 소량 샘플 학습 설정에서 작동하는지는 명확하지 않습니다. 본 연구에서는 Atlas라는 이름의 신중하게 설계되고 사전 훈련된 검색 기반 언어 모델을 소개합니다. 이 모델은 매우 적은 학습 예제로도 지식 집약적 작업을 배울 수 있습니다. 우리는 MMLU, KILT 및 NaturalQuestions와 같은 다양한 작업에 대한 평가를 수행하고, 문서 색인의 내용이 미치는 영향을 연구하여 이를 쉽게 업데이트할 수 있음을 보여줍니다. 특히 Atlas는 단 64개의 예제만 사용하여 Natural Questions에서 42% 이상의 정확도를 달성하였으며, 매개변수가 50배 더 많은 540B 매개변수 모델보다 3% 우수한 성능을 보였습니다.