SPARTA: 희소 트랜스포머 매칭 검색을 통한 효율적인 오픈 도메인 질의 응답

우리는 개방형 도메인 질문 응답(Open-domain Question Answering, OpenQA)에서 성능, 일반화 능력 및 해석 가능성 측면에서 높은 잠재력을 보이는 새로운 신경 검색 방법인 SPARTA를 소개한다. 많은 신경 순위 매기기 방법들이 밀도 있는 벡터의 최근접 이웃 검색을 사용하는 반면, SPARTA는 이 inverted index로 효율적으로 구현할 수 있는 희소 표현을 학습한다. 이러한 표현은 비용이 많이 드는 근사 벡터 검색을 필요로 하지 않으면서도 확장 가능한 신경 검색을 가능하게 하며, 밀집 표현 대비 더 뛰어난 성능을 제공한다. 우리는 4개의 개방형 도메인 질문 응답(OpenQA) 작업과 11개의 검색 기반 질문 응답(ReQA) 작업에서 제안한 방법의 유효성을 검증하였다. SPARTA는 영어 및 중국어 데이터셋을 포함한 다양한 개방형 도메인 질문 응답 작업에서 새로운 최고 성능을 기록하였으며, open SQuAD, Natural Question, CMRC 등 주요 벤치마크에서 우수한 결과를 보였다. 분석을 통해 제안된 방법이 인간이 해석할 수 있는 표현을 생성하고, 성능과 효율성 사이의 트레이드오프를 유연하게 조절할 수 있음을 확인하였다.