Re2G: Retrieve, Rerank, Generate Re2G: 검색, 재순위, 생성

GPT-3와 T5에서 보듯이, 트랜스포머는 매개변수 공간이 점점 더 커짐에 따라 성능이 향상됩니다. 그러나 지식이 많이 필요한 작업의 경우, 비매개변수 메모리는 계산 비용과 GPU 메모리 요구 사항이 부분적으로 선형적으로 증가함으로써 모델의 성능을 크게 향상시킬 수 있습니다. 최근 RAG 및 REALM 등의 모델은 검색을 조건부 생성에 도입하였습니다. 이러한 모델들은 문서 집합에서 신경망 기반 초기 검색을 통합합니다. 우리는 이 연구 방향을 바탕으로 BART 기반 시퀀스-투-시퀀스 생성에 신경망 기반 초기 검색과 재순위 결정을 결합하는 Re2G를 제안합니다. 우리의 재순위 결정 접근법은 서로 비교할 수 없는 점수를 가진 출처로부터 검색 결과를 병합할 수 있게 하여 BM25와 신경망 기반 초기 검색의 앙상블을 가능하게 합니다. 시스템을 엔드-투-엔드로 학습하기 위해, 우리는 대상 시퀀스 출력에 대한 오직 실제 데이터만 사용하여 초기 검색, 재순위 결정, 그리고 생성을 학습시키는 새로운 형태의 지식 증류를 소개합니다. 우리는 제로샷 슬롯 채우기, 질문 응답, 사실 확인, 대화 등 네 가지 다양한 작업에서 큰 개선 효과를 발견하였으며, KILT 리더보드에서 이전 최신 기술보다 상대적으로 9%에서 34%까지 성능 향상을 보였습니다. 우리는 코드를 오픈 소스로 제공하며, 이를 https://github.com/IBM/kgi-slot-filling/tree/re2g 에서 다운로드할 수 있습니다.