摘要
数学推理——作为人类智能的核心能力之一——在作为一个领域时呈现出一些独特的挑战：我们对数学问题的理解和解决主要不是基于经验和证据，而是基于推断、学习和利用定律、公理以及符号操作规则。本文中，我们提出了一项新的挑战，旨在评估（最终设计）神经架构及其类似系统，开发了一个包含数学问题的任务套件，这些问题涉及以自由文本输入/输出格式呈现的序列化问答。数学领域的结构化特性涵盖了算术、代数、概率和微积分等方面，这使得我们可以构建训练集和测试集，以清晰地揭示不同架构的能力和失效模式，并评估它们组合和关联知识及学习过程的能力。在描述了数据生成过程及其潜在的未来扩展之后，我们对来自两个最强大的序列到序列架构类别的模型进行了全面分析，并发现了它们在解决数学问题和泛化知识方面存在显著差异。