AceMath RewardBench هو مجموعة بيانات أصدرتها NVIDIA في عام 2024 لتقييم قدرات نماذج المكافآت الرياضية، وتستند إلى ورقة بحثية بعنوان «AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling»، وتهدف إلى قياس أداء نماذج الاستدلال الرياضي للمكافآت بشكل شامل من خلال إعداد أفضل من N (N=8).

تتضمن مجموعة البيانات عينات من 7 مجموعات بيانات: GSM8K (1319 سؤالًا)، وMath500 (500 سؤال)، وMinerva Math (272 سؤالًا)، وGaokao 2023 en (385 سؤالًا)، وOlympiadBench (675 سؤالًا)، وCollege Math (2818 سؤالًا)، وMMLU STEM (3018 سؤالًا). يحتوي كل عينة على سؤال رياضي، و64 محاولة إجابة بجودات مختلفة مولدة من 8 نماذج لغوية مختلفة مثل Qwen2/2.5-Math وLLama3.1 وMathtral وdeepseek-math، ودرجة الحقيقة الأرضية لكل إجابة، بالإضافة إلى بيانات وصفية مثل صعوبة السؤال ومجال الموضوع. يركز هذا المعيار على التنوع والمتانة، ويقيم متوسط النتائج من خلال أخذ عينات عشوائية باستخدام 100 بذرة عشوائية.

تكوين مجموعة البيانات

تحتوي مجموعة البيانات على الحقول التالية:

• question: الوصف النصي للسؤال الرياضي
• code: قائمة بالإجابات/الحلول الكاملة المولدة من النموذج
• gt: الإجابة الأرضية الحقيقية
• pred: قائمة بالنتائج المتوقعة المستخرجة من كل استجابة نموذج
• score: قائمة قيم منطقية تشير إلى ما إذا كانت كل استجابة تطابق الإجابة الأرضية الحقيقية
• report: التقرير ذو الصلة
• idx: الفهرس
• gt_cot: سلسلة التفكير الأرضية الحقيقية

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}