BARThez: 기능적인 사전 훈련된 프랑스어 시퀀스-투-시퀀스 모델

인덕티브 전이 학습은 BERT 및 BART와 같은 모델들이 수많은 자연어 이해(NLU) 과제에서 새로운 최상의 성능을 기록하며 자연어 처리(NLP) 분야를 강타하고 있다. 그러나 현재까지 제공되는 대부분의 모델과 연구는 영어를 대상으로 수행되었다. 본 연구에서는 프랑스어를 위한 첫 번째 대규모 사전 훈련된 시퀀스-투-시퀀스(SEQ2SEQ) 모델인 BARThez를 소개한다. BART 기반으로 개발된 BARThez는 생성형 과제에 특히 적합하다. 우리는 BARThez를 FLUE 벤치마크의 다섯 가지 구분형 과제와 본 연구를 위해 새로 구축한 요약 데이터셋 OrangeSum의 두 가지 생성형 과제에서 평가하였다. 그 결과, CamemBERT 및 FlauBERT와 같은 최신 BERT 기반 프랑스어 언어 모델들과 비교해도 매우 경쟁력 있는 성능을 보였다. 또한 BARThez의 훈련 코퍼스를 기반으로 다국어 BART 모델을 추가로 사전 훈련하였으며, 그 결과로 도출된 mBARThez 모델이 BARThez의 생성 성능을 크게 향상시켰음을 입증하였다. 코드, 데이터 및 모델은 모두 공개되어 있다.