Modélisation de la relation intra-dans les problèmes mathématiques à mots à l’aide d’attentions multi-têtes fonctionnelles différentes

Plusieurs modèles d'apprentissage profond ont été proposés pour résoudre automatiquement les problèmes mathématiques à mots (MWPs). Bien que ces modèles soient capables d'extraire des caractéristiques sans intervention manuelle, leurs méthodes d'extraction ne sont pas spécifiquement conçues pour les MWPs. Afin d'exploiter les avantages des modèles d'apprentissage profond tout en tenant compte des caractéristiques spécifiques des MWPs, nous proposons un mécanisme d'attention groupée permettant d'extraire séparément des caractéristiques globales, des caractéristiques liées aux quantités, des caractéristiques associées aux paires de quantités et des caractéristiques liées à la question. Les résultats expérimentaux montrent que l'approche proposée surpasse significativement les méthodes précédentes de l'état de l'art : elle améliore les performances de 66,9 % à 69,5 % sur Math23K avec un découpage entraînement-test, de 65,8 % à 66,9 % sur Math23K avec validation croisée à 5 plis, et de 69,2 % à 76,1 % sur MAWPS.