초록
事전 학습된 문맥 표현 모델(Peters et al., 2018; Devlin et al., 2018)은 많은 자연어 처리(NLP) 과제에서 최신 기술을 한 단계 더 발전시켰습니다. BERT(Devlin, 2018)의 새로운 버전에는 104개 언어에 대해 동시에 사전 학습된 모델이 포함되어 있으며, 이 모델은 제로샷 크로스-링랄 전송(zero-shot cross-lingual transfer)에서 뛰어난 성능을 보여주었습니다. 본 논문에서는 mBERT(multilingual BERT)를 제로샷 언어 전송 모델로서 5개의 NLP 과제와 총 39개의 다양한 언어 가족에 속하는 언어들에 대해 폭넓게 탐구합니다: 자연어 추론(NLI), 문서 분류, 개체명 인식(NER), 품사 태깅(POS tagging), 그리고 의존 관계 파싱(dependency parsing). 우리는 mBERT를 제로샷 크로스-링랄 전송에서 가장 우수한 기존 방법들과 비교하여 각 과제에서 mBERT가 경쟁력 있는 결과를 얻는 것을 확인하였습니다. 또한, mBERT를 이러한 방식으로 활용하기 위한 가장 효과적인 전략을 조사하고, mBERT가 언어 특유의 특징들로부터 얼마나 일반화되는지를 결정하며, 크로스-링랄 전송에 영향을 미치는 요인들을 측정하였습니다.