Amélioration de la correction grammaticale Seq2Seq par des interventions au décodage

L’approche sequence-to-sequence (Seq2Seq) est récemment devenue très populaire dans le domaine de la correction d’erreurs grammaticales (GEC) et s’est révélée prometteuse. Toutefois, cette approche souffre encore de deux limitations majeures. Premièrement, un modèle GEC basé sur Seq2Seq ne peut être entraîné qu’à partir de données parallèles, qui, dans le cadre du GEC, sont souvent bruitées et limitées en quantité. Deuxièmement, le décodeur d’un tel modèle ne dispose pas d’une conscience explicite de la correction du token qu’il génère. Dans cet article, nous proposons un cadre unifié d’intervention au décodage, qui utilise un critique externe pour évaluer de manière incrémentielle l’adéquation du token à générer, puis influencer dynamiquement le choix du token suivant. Nous explorons et analysons deux types de critiques : un critique basé sur un modèle pré-entraîné de langage à gauche à droite, et un critique détecteur incrémentiel d’erreurs grammaticales côté cible. À travers des expérimentations étendues sur des jeux de données en anglais et en chinois, notre cadre surpasse de manière constante des modèles de référence performants et atteint des résultats comparables aux méthodes les plus avancées de l’état de l’art.