Zero-shot Slot Filling을 위한 강건한 검색 증강 생성

주어진 문서 집합에서 고품질 지식 그래프를 자동으로 유도하는 것은 여전히 인공지능(AI) 분야에서 어려운 문제입니다. 이 문제를 해결하기 위한 한 가지 방법은 슬롯 채우기(slot filling)라는 관련 작업의 발전을 통해 접근하는 것입니다. 이 작업에서는 [엔티티, 슬롯, ?] 형태의 엔티티 쿼리가 주어지면, 시스템은 주어진 문서 집합에서 관련 문장들에 포함된 증거를 활용하여 부족한 값을 생성하거나 추출하여 슬롯을 채워야 합니다. 최근 연구들은 검색 기반 언어 모델을 사용하여 이 작업을 단계적으로(end-to-end) 해결하려는 시도를 하고 있습니다. 본 논문에서는 제로샷 슬롯 채우기를 위해 밀집된 패시지 검색(dense passage retrieval)을 확장하고, 검색 강화 생성 모델(retrieval augmented generation models)을 위한 강건한 훈련 절차를 도입한 새로운 접근 방식을 제시합니다. 우리의 모델은 T-REx와 zsRE 슬롯 채우기 데이터셋에서 큰 개선을 보여주며, 패시지 검색과 슬롯 값 생성 모두에서 성능이 향상되었으며, KILT 리더보드에서 1위를 차지했습니다. 또한, 제로샷/소수 샷 학습(zero/few-shot learning)의 조합을 통해 TACRED 데이터셋의 새로운 변형체에서 도메인 적응 능력을 보여주는 것으로 시스템의 강건성을 입증하였습니다. 우리는 소스 코드와 사전 훈련된 모델들을 공개합니다.