초록
최근 소개된 BERT 모델은 여러 언어 이해 벤치마크에서 강력한 성능을 보여주고 있습니다. 본 논문에서는 상식 추론을 위한 BERT의 간단한 재구현 방법을 설명합니다. 우리는 BERT가 생성하는 주의 메커니즘(attention)이 대명사 해소 문제(Pronoun Disambiguation Problem)와 윈그라드 스키마 도전(Winograd Schema Challenge)과 같은 작업에 직접적으로 활용될 수 있음을 보여줍니다. 제안된 주의 메커니즘 기반의 상식 추론 방법은 개념적으로 간단하지만 경험적으로는 강력한 것으로 나타났습니다. 다수의 데이터셋에 대한 실험 분석 결과, 제안된 시스템이 모든 사례에서 뛰어난 성능을 보이며 이전에 보고된 최신 기술(state of the art)보다 크게 우수함을 입증하였습니다. 결과는 BERT가 암묵적으로 실체들 사이의 복잡한 관계를 설정하는 방법을 학습하는 것 같다는 점을 시사하지만, 상식 추론 작업 해결에는 거대한 텍스트 코퍼스에서 학습된 비지도 모델 이상의 것이 필요할 수 있음을 나타냅니다.