XLNet: 언어 이해를 위한 일반화된 자기회귀 사전학습

양방향 문맥을 모델링할 수 있는 기능 덕분에, BERT와 같은 노이즈 제거 오토인코딩 기반 사전 학습은 자기 회귀 언어 모델링 기반의 사전 학습 방법보다 더 우수한 성능을 달성합니다. 그러나 입력을 마스크로 손상시키는 방식에 의존함으로써, BERT는 마스킹된 위치 간의 종속성을 무시하고 사전 학습과 미세 조정(finetune) 사이의 불일치 문제를 겪습니다. 이러한 장단점을 고려하여, 우리는 (1) 모든 인자화 순서의 순열에 대한 예상 가능도를 최대화하여 양방향 문맥 학습을 가능하게 하고 (2) 자기 회귀 형식 덕분에 BERT의 한계를 극복하는 일반화된 자기 회귀 사전 학습 방법인 XLNet을 제안합니다. 또한, XLNet은 최신 자기 회귀 모델인 Transformer-XL에서 아이디어를 차용하여 사전 학습에 통합하였습니다. 실험적으로 비슷한 실험 조건 하에서 XLNet은 질문 응답, 자연어 추론, 감성 분석, 문서 순위 결정 등을 포함하여 20개의 작업에서 BERT보다 뛰어난 성능을 보였으며, 종종 큰 차이를 보였습니다.