XCOPA: 인과적 일상지식 추론을 위한 다국어 데이터셋

인간의 언어 능력을 시뮬레이션하기 위해 자연어 처리 시스템은 일상적인 상황의 역학, 즉 그 가능성이 있는 원인과 결과에 대해 추론할 수 있어야 한다. 또한, 문화적 차이를 제외하고 획득한 세계 지식을 새로운 언어로 일반화할 수 있어야 한다. 기계 추론 및 다언어 간 전이 기술의 발전은 도전적인 평가 기준의 가용성에 달려 있다. 이러한 두 가지 요구에 착안하여, 우리는 11개 언어에서 인과적 공감각 추론을 위한 타입학적으로 다양한 다언어 데이터셋인 '다언어 가능성 있는 대안 선택(XCOPA)'을 도입한다. 이 데이터셋은 동부 아푸리마크 퀘추아어와 아이티 크리올어와 같은 자원이 부족한 언어도 포함하고 있다. 우리는 이 새로운 데이터셋에서 최첨단 모델들의 성능을 평가하여, 다언어 사전 훈련과 제로샷 피니팅 기반의 현재 기법이 번역 기반 전이 기법에 비해 성능이 떨어짐을 확인하였다. 마지막으로, 작은 코퍼스나 이중어 사전만 제공되는 샘플 밖의 자원이 부족한 언어에 대해 다언어 모델을 적응시키기 위한 전략을 제안하고, 무작위 기준 대비 상당한 성능 향상을 보고한다. XCOPA 데이터셋은 github.com/cambridgeltl/xcopa에서 무료로 제공된다.