BARThez : un modèle préentraîné français de séquence à séquence à compétences avancées

L’apprentissage par transfert inductif a révolutionné l’ensemble du domaine du traitement automatique du langage (NLP), avec des modèles tels que BERT et BART qui ont établi de nouveaux états de l’art sur de nombreuses tâches de compréhension du langage naturel (NLU). Toutefois, la plupart des modèles disponibles et des recherches menées se concentrent sur la langue anglaise. Dans ce travail, nous présentons BARThez, le premier modèle préentraîné à grande échelle basé sur une architecture seq2seq pour le français. Étant fondé sur BART, BARThez s’impose particulièrement bien pour les tâches génératives. Nous évaluons BARThez sur cinq tâches discriminatives issues de la benchmark FLUE, ainsi que sur deux tâches génératives issues d’un nouveau jeu de données de résumé, OrangeSum, que nous avons conçu spécifiquement pour cette étude. Nos résultats montrent que BARThez est très compétitif par rapport aux meilleurs modèles français basés sur BERT, tels que CamemBERT et FlauBERT. Nous poursuivons également l’entraînement préalable d’un modèle multilingue BART sur le corpus utilisé pour BARThez, et démontrons que le modèle résultant, mBARThez, améliore de manière significative les performances génératives de BARThez. Le code, les données et les modèles sont disponibles publiquement.