mT5 : un pré-entraînement massivement multilingue du modèle textuel à textuel Transformer

Le récent modèle « Text-to-Text Transfer Transformer » (T5) a atteint des résultats de pointe sur une large gamme de tâches de traitement du langage naturel (NLP) en anglais en exploitant un format unifié texte-à-texte et une grande échelle d’entraînement. Dans cet article, nous présentons mT5, une version multilingue de T5, pré-entraînée sur un nouveau jeu de données basé sur Common Crawl couvrant 101 langues. Nous détaillons la conception et l’entraînement modifié de mT5, et démontrons ses performances de pointe sur de nombreuses évaluations multilingues. Nous décrivons également une technique simple permettant de prévenir le phénomène dite « traduction accidentelle » dans le cadre du zéro-shot, où un modèle génératif choisit de traduire partiellement ou entièrement sa prédiction dans une langue erronée. Tous les codes source et les points de contrôle de modèle utilisés dans ce travail sont disponibles publiquement.