مجموعة بيانات معيارية للاستدلال الرياضي Omni-MATH

* هذه المجموعة من البيانات تدعم الاستخدام عبر الإنترنت.انقر هنا للقفز.

Omni-MATH هي مجموعة بيانات مرجعية للتفكير الرياضي على مستوى الأولمبياد أنشأتها جامعة بكين وعلي بابا، والتي تهدف إلى تقييم أداء نماذج اللغة الكبيرة (LLMs) في المشكلات الرياضية على مستوى الأولمبياد. نتائج الورقة ذات الصلة هيOmni-MATH: معيار رياضيات عالمي على مستوى الأولمبياد لنماذج اللغات الكبيرة".

تحتوي مجموعة البيانات هذه على 4428 مسألة رياضية على مستوى المنافسة تم شرحها يدويًا بدقة، وتغطي 33 مجالًا فرعيًا وأكثر من 10 مستويات صعوبة مختلفة، من مستوى التحضير للأولمبياد إلى مسابقات الرياضيات الأولمبية الكبرى مثل IMO (أولمبياد الرياضيات الدولي)، وIMC (مسابقة الرياضيات الدولية) ومسابقة بوتنام للرياضيات.

تتضمن عملية إنشاء Omni-MATH جمع البيانات من المسابقات العالمية في الرياضيات والتحقق منها من خلال التعليقات البشرية لضمان الجودة العالية وتنوع البيانات. أثناء بناء مجموعة البيانات، استخدم فريق البحث GPT-4o لتصنيف الأسئلة وتقسيمها إلى مجالات رياضية مختلفة لتقييم أداء النموذج في المجالات الرياضية المختلفة.