مجموعة بيانات معيارية للمنطق الرياضي من ProcessBench

ProcessBench عبارة عن مجموعة بيانات مرجعية تركز على تحديد الأخطاء في التفكير الرياضي. ويهدف إلى قياس قدرة نماذج اللغة على تحديد الخطوات غير الصحيحة في التفكير الرياضي. تم إطلاقه من قبل فريق Qwen التابع لمجموعة Alibaba في عام 2024. نتائج الورقة ذات الصلة هي "ProcessBench: تحديد أخطاء العمليات في التفكير الرياضي".

تحتوي مجموعة البيانات هذه على 3.4 ألف مثال اختبار، تركز على مسائل الرياضيات المتعلقة بالمنافسة وصعوبة الأولمبياد. يأتي كل مثال مع حل خطوة بخطوة وعلامات خطأ دقيقة من قبل خبراء المجال. عند إنشاء هذه المجموعة من البيانات، اختار فريق البحث أسئلة من مصادر بيانات عامة متعددة، واستخدم نماذج لغوية مفتوحة المصدر مختلفة لإنتاج الإجابات، وفي النهاية قام خبراء بمراجعة البيانات لضمان معايير الجودة العالية.