Correction grammaticale efficace et interprétable avec Mélange d'Experts

Les informations relatives aux types d'erreurs sont largement utilisées pour améliorer les performances des modèles de correction d'erreurs grammaticales (GEC), que ce soit pour générer des corrections, les ré-évaluer ou combiner plusieurs modèles GEC. La combinaison de modèles GEC possédant des forces complémentaires dans la correction de différents types d'erreurs s'avère particulièrement efficace pour produire des corrections de meilleure qualité. Toutefois, cette combinaison de systèmes entraîne un coût computationnel élevé, du fait de la nécessité d'exécuter des inférences sur les modèles de base avant d'appliquer la méthode de combinaison. Il serait donc plus efficace de disposer d'un seul modèle comprenant plusieurs sous-réseaux spécialisés dans la correction de différents types d'erreurs. Dans cet article, nous proposons un modèle de type mixture-of-experts, appelé MoECE, pour la correction d'erreurs grammaticales. Notre modèle atteint une performance équivalente à celle de T5-XL tout en utilisant trois fois moins de paramètres effectifs. En outre, notre modèle génère des corrections interprétables en identifiant également le type d'erreur lors de l'inférence.