영어 중간 과제 훈련이 제로샷 크로스-링갈 트랜스퍼도 개선한다.

중간 과제 학습---타겟 과제로의 재미세 조정 전에 미리 학습된 모델을 중간 과제에서 미세 조정하는 것---단일 언어 영어 환경에서 언어 이해 과제의 성능을 크게 향상시키는 것으로 알려져 있습니다. 우리는 영어 중간 과제 학습이 비영어 타겟 과제에서도 여전히 도움이 되는지 조사합니다. 9개의 중간 언어 이해 과제를 사용하여 XTREME 벤치마크에서 제로샷 크로스-링랄 설정으로 중간 과제 전이를 평가했습니다. BUCC와 Tatoeba 문장 검색 과제에서는 중간 학습으로 큰 개선을 보였으며, 질문 응답 타겟 과제에서는 중등도의 개선을 보였습니다. MNLI, SQuAD 및 HellaSwag는 중간 과제로서 가장 우수한 전체 결과를 달성했으며, 다중 작업 중간은 소폭의 추가적인 개선을 제공했습니다. 각 타겟 과제에 대해 최고의 중간 과제 모델을 사용하여 XTREME 벤치마크에서 XLM-R Large보다 5.4점 높은 성능 향상을 얻었으며, 2020년 6월 기준으로 최신 기술 수준(SOTA)을 설정하였습니다. 또한, 중간 과제 학습 동안 다국어 MLM(다국어 마스크드 언어 모델링)을 계속 수행하고 기계 번역된 중간 과제 데이터를 사용하는 방법도 조사하였으나, 이들 방법은 단순히 영어 중간 과제 학습만 수행하는 것보다 일관되게 우수한 성능을 보이지는 않았습니다.