تُعد مهارات التفكير الرياضي ضرورية لأنظمة الذكاء الاصطناعي العامة للقيام بمهمات تتراوح بين التسوق من المتجر إلى النمذجة المناخية. ولتقييم وتحسين أنظمة الذكاء الاصطناعي في هذا المجال، نقترح LILA، وهو معيار موحد لتقييم التفكير الرياضي يتضمن 23 مهمة متنوعة على أربع أبعاد: (أ) القدرات الرياضية، مثل الحساب والتفاضل والتكامل؛ (ب) تنسيق اللغة، مثل الإجابة على الأسئلة، وتعبئة الفراغات؛ (ج) تنوع اللغة، مثل عدم استخدام اللغة، أو استخدام لغة بسيطة؛ (د) المعرفة الخارجية، مثل المعرفة البديهية أو الفيزياء. وقد قمنا ببناء هذا المعيار من خلال توسيع 20 مجموعة بيانات موجودة، وذلك بجمع تعليمات المهام والإجابات على شكل برامج بايثون، مما يتيح الحصول على حلول قابلة للتفسير بالإضافة إلى الإجابة الصحيحة. كما أدخلنا أيضًا مجموعتي تقييم لقياس الأداء خارج التوزيع (out-of-distribution) والثبات تجاه التغيرات اللغوية. وأخيرًا، نقدم نموذجًا عامًا للتفكير الرياضي يُدعى BHASKARA، تم تدريبه على معيار LILA. ومن المهم الإشارة إلى أن التدريب متعدد المهام يؤدي إلى تحسينات كبيرة (متوسط تحسن نسبي بنسبة 21.83٪ في دقة F1 مقارنة بالنماذج الأحادية المهمة)، في حين أن أفضل نموذج نجح في الوصول إلى 60.40٪ فقط، مما يشير إلى وجود مجال واسع للتحسين في التفكير الرياضي العام والفهم العميق.