StructBERT: 언어 구조를 사전 학습에 통합하여 깊은 언어 이해 달성

최근, 사전 학습 언어 모델인 BERT(그리고 그의 강건하게 최적화된 버전인 RoBERTa)는 자연어 이해(NLU) 분야에서 많은 주목을 받았으며, 감성 분류, 자연어 추론, 의미적 텍스트 유사성 및 질문 응답 등 다양한 NLU 작업에서 최고 수준의 정확도를 달성했습니다. Elman [8]의 선형화 탐색 연구에 영감을 받아, 우리는 BERT를 단어와 문장의 언어 구조를 통합한 새로운 모델인 StructBERT로 확장했습니다. 구체적으로, 단어 수준과 문장 수준에서 각각 언어 구조를 활용하는 두 가지 보조 작업을 통해 StructBERT를 사전 학습시켰습니다. 이 결과, 새로운 모델은 다운스트림 작업이 요구하는 다양한 수준의 언어 이해에 적응되었습니다. 구조적 사전 학습을 받은 StructBERT는 GLUE 벤치마크에서 89.0의 성능을 기록하며(모든 출판된 모델을 능가), SQuAD v1.1 질문 응답 작업에서는 F1 점수 93.0, SNLI에서는 정확도 91.7%라는 놀라운 경험적 결과를 얻었습니다.