초록
상식 추론은 딥 러닝에서 오랫동안 해결하기 어려운 문제로 여겨져 왔습니다. 예를 들어, 신경망을 사용하여 윈그라드 스키마 데이터셋(Levesque 등, 2011)을 처리하는 것은 어렵습니다. 본 논문에서는 비지도 학습을 활용한 신경망 상식 추론의 간단한 방법을 제시합니다. 우리의 방법의 핵심은 대규모 비라벨 데이터로 훈련된 언어 모델을 사용하여 상식 추론 테스트에서 제시되는 다중 선택 질문의 점수를 매기는 것입니다. 명사 구분과 윈그라드 스키마 도전 과제에서 우리의 모델들은 고가의 주석화된 지식베이스나 수작업으로 설계된 특징을 사용하지 않음에도 불구하고 이전 최신 기법들을 크게 능가하였습니다. 우리는 단어 또는 문자 수준에서 작동하는 큰 RNN 언어 모델 여러 개를 LM-1-Billion, CommonCrawl, SQuAD, Gutenberg Books 및 이 작업을 위한 맞춤 코퍼스에서 훈련시키고, 훈련 데이터의 다양성이 테스트 성능에 중요한 역할을 함을 보여주었습니다. 추가 분석에서도 우리의 시스템이 올바른 답변을 결정하는 문맥의 중요한 특징들을 성공적으로 발견함을 확인할 수 있었으며, 이는 상식 지식에 대한 좋은 이해력을 나타내는 것입니다.