Winograd Schema Challenge에 대한 놀랍도록 강건한 트릭

Winograd 스키마 챌린지(Winograd Schema Challenge, WSC) 데이터셋 WSC273와 그 추론 대응체 WNLI는 자연어 이해 및 상식 추론의 인기 있는 벤치마크입니다. 본 논문에서는 유사한 대명사 해소 문제 데이터셋(이하 WSCR로 표기)을 사용하여 세 가지 언어 모델의 WSC273 성능이 크게 향상됨을 보여줍니다. 또한 우리는 큰 규모의 비지도 WSC 유형 데이터셋을 생성하였습니다. BERT 언어 모델을 소개된 데이터셋과 WSCR 데이터셋으로 미세 조정(fine-tuning)함으로써, 우리는 WSC273에서 72.5%와 WNLI에서 74.7%의 전체 정확도를 달성하였으며, 이는 각각 기존 최신 솔루션보다 8.8%와 9.6% 개선된 결과입니다. 더불어, 우리의 미세 조정된 모델들은 Trichelair 등(2018)이 도입한 WSC273의 "복잡"한 하위 집합에서도 일관되게 견고한 성능을 보였습니다.