초록
"자동차의 후드를 열었다"라는 부분 설명이 주어졌을 때, 인간은 상황을 이해하고 그 다음에 일어날 가능성을 예측할 수 있습니다("그런 다음, 엔진을 점검했다"). 본 논문에서는 자연어 추론과 상식적 추론을 통합한 지식 기반 상식 추론 작업을 소개합니다. 우리는 SWAG라는 새로운 데이터셋을 제시하는데, 이는 11만 3천 개의 다중 선택 질문으로 구성되어 있으며 다양한 지식 기반 상황에 대해 다룹니다. 많은 기존 데이터셋에서 발견되는 주석 아티팩트(artifact)와 인간의 편향성 문제를 해결하기 위해, 우리는 반대 필터링(Adversarial Filtering, AF)이라는 새로운 절차를 제안합니다. 이 절차는 스타일 분류기들의 앙상블을 순환적으로 훈련시키고 이를 사용하여 데이터를 필터링함으로써 편향성이 없는 데이터셋을 구축합니다. 공격적인 반대 필터링을 보완하기 위해, 최신 언어 모델들을 활용하여 다양한 대안적 사실(counterfactual)들을 대량으로 샘플링하였습니다. 경험적 결과는 인간이 이 추론 문제를 높은 정확도(88%)로 해결할 수 있지만, 다양한 경쟁 모델들이 우리의 작업에서 어려움을 겪고 있음을 보여줍니다. 우리는 종합적인 분석을 제공하여 미래 연구의 중요한 기회가 있음을 시사합니다."