مقدمة مجموعة البيانات

تُعدّ AceMath-RewardBench مجموعة بيانات مرجعية لتقييم قدرات نماذج المكافآت الرياضية. تستخدم هذه المجموعة المرجعية معيار "أفضل من بين N" (حيث N=8)، وتغطي مجموعات البيانات الرياضية السبع التالية: GSM8K، وMath500، وMinerva Math، وGaokao 2023 En، وOlympiadBench، وCollege Math، وMMLU STEM. صُممت هذه المجموعات لقياس قدرة نماذج المكافآت على اختيار الحل الصحيح من بين حلول مُحتملة متعددة. يحتوي كل مثال على مسألة رياضية و64 محاولة حل من 8 نماذج لغوية مختلفة، تتفاوت في جودتها. توفر مجموعة البيانات درجة حقيقية لكل حل، بالإضافة إلى بيانات وصفية إضافية مثل صعوبة المسألة ومجالها. تركز معايير التقييم على معيارين: التنوع (64 إجابة لكل مسألة من 8 نماذج مختلفة) والمتانة (يتم تقييمها عن طريق حساب متوسط النتائج من 100 بذرة عشوائية).

تكوين مجموعة البيانات

تحتوي مجموعة البيانات على 7 مجموعات فرعية، كل منها مخصصة لمهمة استدلال رياضي مختلفة. وفيما يلي العدد المحدد للأسئلة: – GSM8K: 1319 سؤالاً – الرياضيات 500: 500 سؤال

• رياضيات مينيرفا: 272 سؤالاً – جاوكاو 2023 إن: 385 سؤالاً أولمبياد بنش: 675 سؤالاً – الرياضيات الجامعية: 2818 سؤالاً – MMLU STEM: 3018 سؤالاً يتضمن تنسيق بيانات كل مثال الحقول التالية:question(نص المسائل الرياضية) code(قائمة كاملة بالحلول النموذجية) gt(إجابة قياسية) pred(قائمة بالإجابات المتوقعة المستخرجة من كل حل) score(قائمة من القيم المنطقية تشير إلى ما إذا كان كل حل يطابق الإجابة القياسية) idx(فِهرِس)، report(تقرير)، gt_cot(عملية التفكير الكامنة وراء الإجابة القياسية). تتميز مجموعة البيانات بالتنوع (64 إجابة من 8 نماذج مختلفة) والمتانة (يتم اختيار 8 مرشحين عشوائيًا من بين 64 مرشحًا باستخدام 100 بذرة عشوائية، ويتم الإبلاغ عن متوسط النتيجة). تُعد هذه المجموعة مناسبة لتقييم أداء نماذج المكافأة الرياضية، لا سيما في حالة N-to-1 المثلى. معلومات الترخيص: هذه المجموعة من البيانات مرخصة بموجب ترخيص Creative Commons Attribution Non-Commercial 4.0 International (CC-BY-NC-4.0) وهي مخصصة للاستخدام غير التجاري فقط.

الاستشهاد

@article{acemath2024, title={AceMath: تطوير الاستدلال الرياضي الرائد باستخدام نمذجة ما بعد التدريب والمكافأة}, المؤلفون = {ليو، زيهان، تشين، يانغ، شويبي، محمد، كاتانزارو، برايان، بينغ، وي} journal={arXiv preprint}, السنة = {2024} }