초록
검색 증강 모델은 자연어 처리 작업에서 효과적임이 입증되었으나, 변분 추론을 활용한 최적화에 관한 연구는 여전히 부족한 실정이다. 본 연구에서는 개방형 질문 응답 및 언어 모델링에 초점을 맞추어 검색 증강 모델의 엔드투엔드 학습과 평가를 가능하게 하는 변분 개방형(Variational Open-Domain, VOD) 프레임워크를 제안한다. VOD 목적함수는 레니(Rényi) 변분 경계의 자기정규화 추정치이며, 작업의 주변 가능도를 근사한다. 이 목적함수는 보조 샘플링 분포(캐시된 검색기와/또는 근사 사후 분포)로부터 추출된 샘플을 기반으로 평가되며, 대규모 코퍼스에 정의된 검색기 분포에 대해서도 계산이 가능하다. 다양한 다중 선택형 의학 시험 문제를 대상으로 BERT 규모의 리더-검색기 모델을 학습함을 통해 VOD의 유연성을 입증한다. MedMCQA 데이터셋에서, 파라미터 수가 2,500배 적은 조건에서도 도메인 최적화된 Med-PaLM을 +5.3%의 성능으로 상회한다. 또한, 검색 증강형 BioLinkBERT 모델은 MedMCQA에서 62.9%, MedQA-USMLE에서 55.0%의 성능을 기록하였다. 마지막으로, 의학적 의미 검색 맥락에서 학습된 검색기 구성 요소의 효과성을 실험적으로 확인하였다.