مجموعة بيانات U-MATH عبارة عن مجموعة اختبارات مرجعية شاملة مصممة خصيصًا لتقييم قدرات التفكير الرياضي للنماذج اللغوية الكبيرة (LLMs). تم إنشاء مجموعة البيانات هذه بواسطة Toloka AI و Gradarius في عام 2024. نتائج الورقة ذات الصلة هي "U-MATH: معيار على مستوى الجامعة لتقييم المهارات الرياضية في برامج الماجستير في القانونتحتوي هذه المجموعة من البيانات على 1100 مسألة رياضية غير منشورة على مستوى الجامعة، مستمدة من مواد تعليمية أصلية، وتغطي ستة مواضيع أساسية في الرياضيات: الرياضيات الابتدائية، والجبر، وحساب التفاضل والتكامل، وحساب التفاضل والتكامل متعدد المتغيرات، والمتتاليات والمتسلسلات.

الميزة البارزة لمجموعة بيانات U-MATH هي الأسئلة المتعددة الوسائط التي تحتوي عليها. تتضمن حوالي 20% من الأسئلة عناصر مرئية مثل الرسوم البيانية والمخططات، مما يزيد من تعقيد معالجة البيانات ويتطلب من النموذج أن يكون قادرًا على تفسير المعلومات الرسومية والتفكير فيها. تتضمن ميزات مجموعة البيانات معرف السؤال، وعلامات الموضوع، وما إذا كانت تحتوي على صور، وبيانات الصور، وعبارات السؤال، والإجابات الصحيحة، والتي توفر أساس تقييم شامل لقدرة التفكير الرياضي للنموذج.