REPLUG: 검색 기반 블랙박스 언어 모델

우리는 검색 강화 언어 모델링 프레임워크인 REPLUG를 소개합니다. 이 프레임워크는 언어 모델(LM)을 블랙박스로 취급하고, 조정 가능한 검색 모델을 추가하여 강화합니다. 기존의 검색 강화 LM들은 특수한 크로스 어텐션 메커니즘을 사용하여 검색된 텍스트를 인코딩하는 반면, REPLUG는 단순히 동결된 블랙박스 LM의 입력 앞에 검색된 문서를 추가합니다. 이러한 간단한 설계는 기존의 모든 검색 및 언어 모델에 쉽게 적용할 수 있습니다. 또한, 우리는 LM이 검색 모델을 감독하여, LM이 더 나은 예측을 할 수 있도록 도움이 되는 문서를 찾을 수 있음을 보여줍니다. 실험 결과, 조정된 검색기와 함께 사용한 REPLUG가 GPT-3 (175B)의 언어 모델링 성능을 6.3% 향상시키고, Codex의 5샷 MMLU 성능도 5.1% 향상시킨다는 것을 입증하였습니다.