Générer & Classer : Un cadre multi-tâches pour les problèmes mathématiques à mots

Le problème mathématique à mots (MWP) constitue une tâche exigeante et fondamentale en traitement du langage naturel. De nombreuses études récentes formalisent le MWP comme une tâche de génération et ont adopté des modèles séquence-à-séquence pour transformer les descriptions de problèmes en expressions mathématiques. Toutefois, les expressions mathématiques sont sujettes à de petites erreurs, alors que l'objectif de génération ne traite pas explicitement ces erreurs. Pour remédier à cette limitation, nous proposons une nouvelle tâche de classement pour le MWP et introduisons un cadre multi-tâches appelé Generate & Rank, basé sur un modèle pré-entraîné de langage génératif. En étant entraîné conjointement à la génération et au classement, le modèle apprend à partir de ses propres erreurs et parvient ainsi à distinguer entre expressions correctes et incorrectes. Par ailleurs, nous appliquons une perturbation basée sur des arbres spécifiquement conçue pour le MWP, ainsi qu'une mise à jour en ligne afin d'améliorer le classeur. Nous démontrons l'efficacité de notre méthode sur des benchmarks standards, les résultats montrant que notre approche surpasse de manière cohérente les méthodes de référence sur l'ensemble des jeux de données. En particulier, sur le jeu de données classique Math23k, notre méthode atteint une performance supérieure de 7 % (passant de 78,4 % à 85,4 %) par rapport à l’état de l’art.