Pointez l'Expression : Résolution de problèmes verbaux algébriques à l'aide du modèle Transformer Pointeur d'Expression

La résolution de problèmes algébriques à base de mots est récemment devenue une tâche importante dans le domaine du traitement du langage naturel. Pour résoudre ces problèmes, les études récentes ont proposé des modèles neuronaux capables de générer des équations de solution en utilisant des unités d’entrée/sortie composées de jetons {}Op (opérateur/operandes){} . Toutefois, de tels modèles neuronaux souffrent de deux problèmes majeurs : la fragmentation d’expression et la séparation du contexte des opérandes. Pour remédier à chacun de ces deux défis, nous proposons un modèle entièrement neuronal, appelé Expression-Pointer Transformer (EPT), qui utilise (1) un jeton {}Expression{} et (2) des pointeurs vers le contexte des opérandes lors de la génération des équations de solution. La performance du modèle EPT a été évaluée sur trois jeux de données : ALG514, DRAW-1K et MAWPS. En comparaison avec les modèles les plus avancés (SoTA), le modèle EPT atteint une précision comparable sur chacun des trois jeux de données : 81,3 % sur ALG514, 59,5 % sur DRAW-1K et 84,5 % sur MAWPS. La contribution de cet article est double : (1) nous proposons un modèle entièrement neuronal, EPT, capable de résoudre à la fois la fragmentation d’expression et la séparation du contexte des opérandes ; (2) le modèle EPT entièrement automatique, qui ne repose pas sur des caractéristiques manuellement conçues, atteint une performance comparable à celle des modèles existants utilisant des caractéristiques artisanales, et dépasse même les modèles neuronaux purs existants de jusqu’à 40 %.