의미 인식 BERT를 활용한 언어 이해

최근의 언어 표현 연구는 맥락 기반 특징을 언어 모델 훈련에 정교하게 통합함으로써 다양한 기계 독해 및 자연어 추론 작업에서 뛰어난 성과를 거두고 있다. 그러나 기존의 언어 표현 모델인 ELMo, GPT, BERT 등은 문자 또는 단어 임베딩과 같은 단순한 맥락 민감 특징만을 활용하고 있으며, 언어 표현에 풍부한 의미 정보를 제공할 수 있는 구조화된 의미 정보를 거의 고려하지 않는다. 자연어 이해를 더욱 향상시키기 위해, 본 연구는 사전 훈련된 의미 역할 분류(Semantic Role Labeling, SRL)에서 도출된 명시적인 맥락 의미 정보를 통합하는 방안을 제안하고, BERT 기반 아키텍처 위에서 명시적인 맥락 의미 정보를 효과적으로 흡수할 수 있는 개선된 언어 표현 모델인 Semantics-aware BERT(SemBERT)를 제안한다. SemBERT는 태스크에 특화된 대규모 수정 없이, 경량적인 미세 조정(fine-tuning) 방식을 통해 BERT의 사용 편의성을 유지한다. BERT와 비교했을 때, SemBERT는 개념적으로 간단하지만 더 강력한 성능을 발휘하며, 10개의 독해 및 언어 추론 작업에서 새로운 최고 성능 또는 상당한 성능 향상을 달성하였다.