تتطلب العديد من الجهود الفكرية حل المشكلات الرياضية، ولكن هذه المهارة لا تزال خارج نطاق قدرات الحواسيب. لقياس هذه القدرة في نماذج التعلم الآلي، نقدم مجموعة بيانات جديدة تُسمى MATH (الرياضيات)، تتكون من 12,500 مشكلة رياضية صعبة من المسابقات. تحتوي كل مشكلة في مجموعة بيانات MATH على حل كامل خطوة بخطوة يمكن استخدامه لتعليم النماذج كيفية إنشاء اشتقاقات الإجابات وتوضيحها. لتسهيل البحث المستقبلي وزيادة الدقة في MATH، نساهم أيضًا بمجموعة بيانات مساعدة كبيرة للتدريب المسبق تساعد في تعليم النماذج أساسيات الرياضيات. رغم قدرتنا على زيادة الدقة في MATH، تظهر نتائجنا أن الدقة لا تزال منخفضة نسبيًا حتى مع استخدام نماذج Transformer العملاقة. علاوة على ذلك، نجد أن زيادة الميزانيات وعدد معلمات النموذج ستكون غير عملية لتحقيق الاستدلال الرياضي القوي إذا استمرت اتجاهات التوسع. بينما يؤدي توسيع نطاق Transformers إلى حل معظم المهام الأخرى القائمة على النص بشكل آلي، فإن التوسع الحالي لا يحل مشكلة MATH. للحصول على المزيد من التقدم في حل المشكلات الرياضية، ستحتاج الأغلب إلى تطورات خوارزمية جديدة من المجتمع البحثي الأوسع.