스킬 체인: 개방형 도메인 질문 응답을 위한 구성 가능한 모델

검색 모델은 오픈 도메인 질의 응답(ODQA)과 같은 실제 지식 집약형 작업에서 필수적인 구성 요소이다. 최근 연구에서는 다양한 데이터셋에 대해 별도의 검색 기술을 주석화하는 방식으로 접근하면서, 맞춤형 방법에 초점을 맞추고 있어 모델의 이식성과 확장성을 제한하고 있다. 본 연구에서는 개별 모듈이 데이터셋 간 재사용 가능한 핵심 기술에 대응하는 모듈형 검색기(모듈러 리트리버)를 제안한다. 제안하는 접근법은 대상 도메인에 따라 유연한 기술 구성이 가능하도록 지원하여 성능을 향상시킨다. 작업 간 간섭을 완화하기 위해, 희소 트랜스포머(sparse Transformer)를 영감으로 삼아 새로운 모듈화 파라미터화 방식을 설계하였다. 본 연구에서는 위키백과에서의 자기지도 사전학습(self-supervised pretraining)과 다수의 ODQA 데이터셋을 활용한 다중 작업(multi-task) 방식의 미세조정(fine-tuning)을 통해 모델이 성능 향상을 얻을 수 있음을 입증하였다. 제안한 방법은 제로샷(zero-shot) 평가에서 최근의 자기지도 검색 모델들을 능가하며, NQ, HotpotQA, OTT-QA에서 최신 기준의 미세조정 검색 성능을 달성하였다.