Un modèle neuronal arborescent piloté par les objectifs pour les problèmes mathématiques à mots

La plupart des modèles neuronaux existants pour les problèmes mathématiques à mots exploitent des architectures Seq2Seq afin de générer des expressions de solution de manière séquentielle, de gauche à droite. Ces approches atteignent des résultats insatisfaisants, en raison de l’absence d’un mécanisme orienté vers l’objectif, couramment observé dans la résolution humaine de problèmes. Ce papier propose un modèle neuronal structuré en arbre, capable de générer un arbre d’expression de manière orientée vers l’objectif. Étant donné un problème mathématique à mots, le modèle identifie d’abord et encode l’objectif à atteindre, puis décompose cet objectif en sous-objectifs combinés par un opérateur, de manière récursive et descendante. Ce processus est itéré jusqu’à ce que l’objectif soit suffisamment simple pour être réalisé à partir d’une quantité connue, représentée comme une feuille dans l’arbre. Pendant ce processus, des réseaux feedforward à deux couches à portes sont conçus pour réaliser chaque étape de décomposition de l’objectif, tandis qu’un réseau de neurones récursif est utilisé pour encoder les sous-arbres remplis en embeddings de sous-arbres, offrant une représentation plus riche des sous-arbres que les simples objectifs des sous-arbres. Les résultats expérimentaux sur le jeu de données Math23K montrent que notre modèle structuré en arbre surpasse significativement plusieurs modèles d’état de l’art.