Meilleurs baselines pour la correction grammaticale à l’aide d’un modèle pré-entraîné encodeur-décodeur

Des études sur la correction des erreurs grammaticales (GEC) ont démontré l’efficacité du préentraînement d’un modèle Seq2Seq à l’aide d’une grande quantité de pseudodonnées. Toutefois, cette approche nécessite un préentraînement long et coûteux en temps en raison de la taille des pseudodonnées. Dans cette étude, nous explorons l’utilité des modèles bidirectionnels et auto-régressifs basés sur les transformateurs (BART) en tant que modèle préentraîné généraliste encodeur-décodeur pour la GEC. Grâce à l’utilisation de ce modèle préentraîné généraliste pour la GEC, il devient possible d’éliminer le préentraînement chronophage. Nous constatons que les modèles BART monolingues et multilingues atteignent des performances élevées en GEC, l’un des résultats étant comparable aux résultats actuels les plus performants en anglais. Nos implémentations sont disponibles publiquement sur GitHub (https://github.com/Katsumata420/generic-pretrained-GEC).