Estimation neurale de la qualité de la correction des erreurs grammaticales

Les systèmes de correction grammaticale (GEC) déployés dans les environnements d'apprentissage des langues sont censés corriger avec précision les erreurs présentes dans les productions écrites des apprenants. Toutefois, en pratique, ces systèmes produisent souvent des corrections erronées ou non pertinentes, et échouent à corriger de nombreuses erreurs, ce qui peut induire les apprenants en erreur. Cela rend nécessaire l’estimation de la qualité des phrases produites par les systèmes GEC, afin que les enseignants puissent intervenir de manière ciblée et corriger à nouveau les phrases mal traitées par le système, garantissant ainsi aux apprenants un retour d’information fiable. Nous proposons la première approche neuronale pour l’estimation automatique de la qualité des sorties des systèmes GEC, qui ne repose sur aucune caractéristique conçue manuellement. Notre système est entraîné de manière supervisée sur des phrases d’apprenants et les sorties correspondantes des systèmes GEC, avec des étiquettes de qualité calculées à partir de références annotées par des humains. Nos modèles d’estimation de qualité basés sur des réseaux neuronaux montrent des améliorations significatives par rapport à une base robuste fondée sur des caractéristiques. Nous démontrons également qu’un système GEC de pointe peut être amélioré en utilisant les scores de qualité comme caractéristiques pour réordonner les N meilleures candidatures.