초록
이 논문은 다언어 마스킹 언어 모델을 특정 언어에 적응시키는 방법을 소개합니다. 사전 훈련된 양방향 언어 모델은 독해, 자연어 추론, 감성 분석 등 다양한 작업에서 최고 수준의 성능을 보여줍니다. 현재 이러한 모델을 훈련시키는 두 가지 대안적인 접근 방식이 있습니다: 단일 언어와 다언어입니다. 언어별 모델은 우수한 성능을 보이는 반면, 다언어 모델은 한 언어에서 다른 언어로의 전송 학습(transfer learning)을 가능하게 하고 여러 언어의 작업을 동시에 해결할 수 있습니다. 본 연구에서는 다언어 모델에서 단일 언어 모델로의 전송 학습이 독해, 동의구문 검출, 감성 분석 등의 작업에서 성능이 크게 향상됨을 보여주며, 또한 다언어 초기화가 단일 언어 모델의 훈련 시간을大幅减少(대폭 줄임)하는 것을 입증합니다. 러시아어용 사전 훈련된 모델들은 오픈 소스로 공개되었습니다.