2달 전
BoolQ: 자연스러운 예/아니오 질문의 놀라운 어려움 탐구
Christopher Clark; Kenton Lee; Ming-Wei Chang; Tom Kwiatkowski; Michael Collins; Kristina Toutanova

초록
본 논문에서는 자연스럽게 발생하는 예/아니오 질문을 연구합니다. 이는 제약 없이 자발적으로 생성된 질문을 의미합니다. 우리는 이러한 질문들을 포함한 읽기 이해 데이터셋인 BoolQ를 구축하고, 이들이 예상보다 훨씬 어려운 문제임을 보여줍니다. 이 질문들은 종종 복잡하고 사실 정보가 아닌 정보를 조회하며, 해결하기 위해 어려운 함의(inference) 유형의 추론이 필요합니다. 또한 다양한 전이 학습 기법들의 효과성을 탐구하였습니다. 우리는 함의 데이터에서의 전이가 동의어(paraphrase) 또는 추출적 질문-답변(QA) 데이터에서의 전이보다 더 효과적임을 발견하였으며, 놀랍게도 BERT와 같은 대규모 사전 학습 언어 모델에서도 여전히 매우 유익하다는 것을 확인하였습니다. 우리의 최선의 방법은 BERT를 MultiNLI에서 학습시키고 그 다음에 우리 훈련 세트에서 재학습시키는 것입니다. 이 방법은 인간 주석자들의 90% 정확도(다수결 기준 62%)에 비해 80.4%의 정확도를 달성하였으며, 앞으로의 연구에 여지가 많이 남아 있음을 시사합니다.