Raisonnement mathématique --- une capacité centrale de l'intelligence humaine --- présente des défis uniques en tant que domaine : nous ne parvenons pas à comprendre et résoudre les problèmes mathématiques principalement sur la base de l'expérience et des preuves, mais en inférant, apprenant et exploitant des lois, des axiomes et des règles de manipulation symbolique. Dans cet article, nous présentons un nouveau défi pour l'évaluation (et éventuellement la conception) des architectures neuronales et de systèmes similaires, en développant une suite de tâches de problèmes mathématiques impliquant des questions et réponses séquentielles dans un format textuel libre d'entrée/sortie. La nature structurée du domaine mathématique, couvrant l'arithmétique, l'algèbre, la probabilité et le calcul différentiel et intégral, permet la construction de divisions d'apprentissage et de test conçues pour éclaircir clairement les capacités et les modes de défaillance de différentes architectures, ainsi que d'évaluer leur aptitude à composer et à relier connaissances et processus acquis. Après avoir décrit le processus de génération des données et ses potentiels développements futurs, nous menons une analyse exhaustive des modèles issus de deux grandes classes d'architectures séquence-à-séquence les plus puissantes, révélant des différences notables dans leur capacité à résoudre des problèmes mathématiques et à généraliser leurs connaissances.