MWP-BERT : Pré-entraînement augmenté en numératie pour la résolution de problèmes mathématiques à mots

La résolution de problèmes mathématiques à mots (MWP) fait face à un dilemme concernant l'apprentissage de la représentation des nombres. Afin d'éviter les difficultés liées à la représentation des nombres et de réduire l'espace de recherche des solutions possibles, les travaux existants visant à résoudre les MWPs remplacent souvent les nombres réels par des symboles génériques, afin de se concentrer principalement sur le raisonnement logique. Toutefois, contrairement aux tâches classiques de raisonnement symbolique telles que la synthèse de programmes ou le raisonnement sur les graphes de connaissances, la résolution des MWPs impose des exigences supplémentaires en matière de raisonnement numérique. Autrement dit, ce n’est pas la valeur numérique elle-même qui est essentielle, mais plutôt la propriété numérique réutilisable qui joue un rôle prépondérant dans le raisonnement numérique. Nous soutenons donc que l’intégration de propriétés numériques dans les symboles génériques, via un schéma d’apprentissage représentatif contextualisé, peut offrir une solution à ce dilemme. Dans ce travail, nous appliquons cette idée aux techniques courantes de modèles linguistiques pré-entraînés (PLM) et proposons MWP-BERT, un modèle PLM efficace pour la représentation contextuelle des nombres. Nous démontrons l’efficacité de notre MWP-BERT sur la résolution des MWPs ainsi que sur plusieurs tâches spécifiques à la compréhension des MWPs, sur des benchmarks en anglais et en chinois.