ATHENA : Raisonnement mathématique avec expansion de pensée

La résolution de problèmes mathématiques à mots repose sur la manière dont ces problèmes sont formulés, c’est-à-dire sur le cadre d’interprétation adopté par les modèles pour analyser les expressions linguistiques humaines. Les situations du monde réel exigent particulièrement une telle approche, en raison de la diversité des pratiques associées aux mêmes opérations mathématiques. Les travaux antérieurs limitent les processus de raisonnement disponibles en se basant sur des stratégies de prédiction restreintes, sans tenir compte de leur importance dans l’acquisition des connaissances mathématiques. Nous proposons une architecture de réseau neuronal fondée sur l’attention, nommée ATHENA (Attention-based THought Expansion Network Architecture), pour relever les défis posés par les pratiques du monde réel en imitant les mécanismes d’expansion de la pensée humaine sous la forme d’une propagation dans un réseau neuronal. Une pensée s’expande de manière récursive en générant des candidats porteurs de pensées relatives à des expressions mathématiques possibles, dérivées de l’étape précédente, et en sélectionnant les chemins valides menant à la solution. Nos expériences montrent qu’ATHENA atteint un nouveau record d’état de l’art vers un modèle idéal, performant de manière convaincante sur une variété de questions, même lorsque l’information fournie par les exemples d’entraînement est limitée.