BART-IT : Un modèle séquence-à-séquence efficace pour la résumé de texte italien

L’émergence des architectures basées sur l’attention a permis des progrès significatifs dans les performances des modèles neuronaux séquence-à-séquence pour la synthèse de résumés textuels. Bien que ces modèles se soient avérés efficaces pour résumer des documents rédigés en anglais, leur transférabilité à d'autres langues reste limitée, laissant ainsi une marge importante pour amélioration. Dans cet article, nous présentons BART-IT, un modèle séquence-à-séquence fondé sur l’architecture BART, spécifiquement adapté à la langue italienne. Le modèle est pré-entraîné sur un vaste corpus de textes rédigés en italien afin d’apprendre des caractéristiques linguistiques propres, puis affiné sur plusieurs jeux de données standardisés pour la synthèse abstraite. Les résultats expérimentaux montrent que BART-IT dépasse d’autres modèles de pointe en termes de scores ROUGE, malgré un nombre de paramètres sensiblement réduit. L’utilisation de BART-IT peut stimuler le développement d’applications intéressantes en traitement automatique du langage naturel pour la langue italienne. En plus de mettre ce modèle à disposition de la communauté scientifique afin de favoriser de futures recherches et applications, nous abordons également les implications éthiques liées à l’utilisation des modèles de synthèse abstraite.