الاستدلال الرياضي - وهو قدرة أساسية ضمن الذكاء البشري - يشكل بعض التحديات الفريدة كمجال: فنحن لا نصل إلى فهم وحل المشكلات الرياضية بشكل أساسي على أساس الخبرة والدليل، بل على أساس الاستدلال والتعلم والاستفادة من القوانين والبديهيات وقواعد معالجة الرموز. في هذا البحث، نقدم تحديًا جديدًا لتقدير (وأخيرًا تصميم) هياكل العصبونات وأنظمة مماثلة، من خلال تطوير مجموعة مهام رياضية تتضمن أسئلة وإجابات متتابعة بتنسيق مدخل/مخرج نصي حر. الطبيعة المنظمة لمجال الرياضيات، الذي يغطي الحساب والجبر والإحتمالات والتفاضل والتكامل، تتيح بناء تقسيمات للتدريب والاختبار مصممة لتوضيح القدرات وأساليب الفشل لهياكل مختلفة، وكذلك تقييم قدرتها على تركيب وتتعلق المعرفة والعمليات المُتعلَّمة. بعد وصف عملية إنشاء البيانات وممكناتها التوسعية المستقبلية، أجرينا تحليلًا شاملًا للنماذج من فئتين رئيسيتين من أقوى هياكل الترجمة المتسلسلة إلى متسلسلة (Sequence-to-Sequence Architectures) ووجدنا اختلافات ملحوظة في قدرتهم على حل المشكلات الرياضية وتعميم معرفتهم.