ERNIE-M: 단일 언어 코퍼스를 활용한 다국어 의미 정렬을 통한 다국어 표현 강화

최근 연구들은 사전 훈련된 다국어 모델이 하류 다국어 작업에서 뛰어난 성능을 발휘함을 입증하였다. 이러한 성능 향상은 방대한 단언어 및 병렬 텍스트 데이터를 학습함으로써 가능해졌다. 일반적으로 병렬 텍스트 데이터가 모델 성능 향상에 핵심적인 역할을 한다는 점은 널리 인정되고 있으나, 기존의 방법들은 특히 저자원 언어에 대해 병렬 텍스트 데이터의 규모 제한으로 인해 제약을 받는다. 본 논문에서는 단언어 텍스트 데이터를 활용하여 다국어 표현을 정렬하도록 모델을 유도하는 새로운 훈련 방법인 ERNIE-M을 제안한다. 이는 병렬 텍스트 데이터의 규모가 모델 성능에 미치는 제약을 극복하는 데 목적이 있다. 본 연구의 핵심 통찰은 사전 훈련 과정에 역 번역(back-translation)을 통합하는 것이다. 단언어 텍스트 데이터에서 가상의 병렬 문장 쌍을 생성함으로써, 서로 다른 언어 간의 의미적 정렬을 학습할 수 있도록 하여 다국어 모델의 의미 모델링 능력을 향상시킨다. 실험 결과, ERNIE-M은 기존의 다국어 모델들을 능가하며 다양한 다국어 하류 작업에서 새로운 최고 성능(SOTA)을 달성하였다.