KILT: 지식 집약형 언어 작업을 위한 벤치마크

오픈 도메인 질의 응답, 사실 검증, 슬롯 채우기, 엔티티 링킹과 같은 도전적인 문제들은 대규모 외부 지식 자원에 접근할 수 있어야 한다. 일부 모델은 개별 작업에서는 우수한 성능을 보이지만, 일반화된 모델을 개발하는 것은 어렵다. 각 작업마다 고유한 지식 자원에 대한 계산적으로 비용이 큰 인덱싱이 필요할 뿐만 아니라, 전용 인프라 구축도 요구되기 때문이다. 대규모 텍스트 자원에서 특정 정보에 조건부로 작동하는 모델에 대한 연구를 촉진하기 위해, 우리는 지식 집약적 언어 작업을 위한 벤치마크인 KILT를 제안한다. KILT의 모든 작업은 동일한 위키백과 스냅샷에 기반하여 설계되어, 구성 요소의 재사용을 통해 엔지니어링 주기를 단축하고, 작업 독립적 메모리 아키텍처에 대한 연구를 가속화한다. 우리는 작업별 및 일반화된 기준 모델을 테스트하여, 후행 작업 성능뿐 아니라 모델이 결과의 근거(provenance)를 제공하는 능력도 평가한다. 그 결과, 공유되는 밀집 벡터 인덱스와 seq2seq 모델의 조합이 강력한 기준 모델임을 확인하였으며, 사실 검증, 오픈 도메인 질의 응답, 대화 처리에서는 더 특화된 접근법보다 뛰어난 성능을 보였고, 엔티티 링킹 및 슬롯 채우기에서도 해석 가능한 텍스트를 생성함으로써 경쟁적인 결과를 얻었다. KILT 데이터 및 코드는 https://github.com/facebookresearch/KILT 에서 공개되어 있다.