VarMAE: 도메인 적응형 언어 이해를 위한 변분 마스킹 오토인코더의 사전 훈련

사전 훈련된 언어 모델은 일반적인 벤치마크에서 우수한 성능을 달성했지만, 특정 도메인으로 이식될 때 성능이 저하되는 경향이 있다. 최근 연구들은 도메인 문서 집합을 기반으로 사전 훈련을 처음부터 수행하거나 지속적인 사전 훈련을 수행하는 방식을 채택하고 있다. 그러나 많은 특정 도메인에서는 텍스트 데이터가 부족하여 정밀한 표현을 얻기 어렵다. 이 문제를 해결하기 위해, 본 연구는 도메인 적응형 언어 이해를 위한 새로운 트랜스포머 기반 언어 모델인 VarMAE를 제안한다. 마스킹된 자동인코딩 목적함수 아래에서, 토큰의 맥락을 부드러운 잠재 분포로 인코딩할 수 있는 맥락 불확실성 학습 모듈을 설계하였다. 이 모듈은 다양한 형태이면서도 구조적으로 잘 정돈된 맥락 표현을 생성할 수 있다. 과학 및 금융 도메인의 자연어 이해(NLU) 작업에 대한 실험 결과에 따르면, VarMAE는 제한된 자원 조건에서도 새로운 도메인으로 효율적으로 적응할 수 있음을 입증하였다.