Command Palette
Search for a command to run...
Nemotron-Math: استخلاص فعّال للتفكير الرياضي من مراقبة متعددة الأنواع بسياق طويل
Nemotron-Math: استخلاص فعّال للتفكير الرياضي من مراقبة متعددة الأنواع بسياق طويل
Wei Du Shubham Toshniwal Branislav Kisacanin Sadegh Mahdavi Ivan Moshkov George Armstrong Stephen Ge Edgar Minasyan Feng Chen Igor Gitman
Abstract
تتطلب الإشراف على الاستدلال الرياضي عالي الجودة أنماطًا متنوعة من التفكير، وسجلاً طويلًا للخطوات، ودمجًا فعّالًا بالأدوات، وهي قدرات لا تتوفر في المجموعات الحالية إلا بشكل محدود. وباستخدام القدرة على التوليد متعدد الأنماط لنموذج gpt-oss-120b، نقدّم Nemotron-Math، وهي مجموعة بيانات كبيرة الحجم مخصصة للاستدلال الرياضي، تتضمّن 7.5 مليون سجل لحل المسائل تشمل أنماطًا عالية ووسطى ومنخفضة من الاستدلال، مع توفر كل نمط سواء بدمج أدوات برمجية (Python) أو دونها (TIR – التفكير المدمج بالأدوات).تدمج هذه المجموعة 85 ألف مسألة مختارة من منصة AoPS مع 262 ألف مسألة تم جمعها من المجتمع عبر StackExchange-Math، مما يجمع بين المهام المنظمة من المسابقات الرياضية والأسئلة الرياضية المتنوعة من الحياة الواقعية. ونُجري تقييمات مُحكَمة لتقييم جودة المجموعة.وأظهرت Nemotron-Math أداءً أفضل باستمرار مقارنةً بالنسخة الأصلية من OpenMathReasoning عند اختبارها على مسائل AoPS المطابقة. كما أن دمج مسائل StackExchange-Math يُحسّن بشكل ملحوظ من قدرة النموذج على التعميم والمقاومة للتشويش، خاصةً على مجموعة HLE-Math، مع الحفاظ على الدقة على معايير المسابقات الرياضية.ولدعم التدريب الفعّال على السياقات الطويلة، طوّرنا استراتيجية مبنية على تجميع التسلسلات (sequential bucketed strategy)، والتي تسرّع عملية التدريب الدقيق (fine-tuning) بطول سياق 128K بمقدار 2 إلى 3 أضعاف دون خسارة كبيرة في الدقة. وبشكل عام، تتيح Nemotron-Math تحقيق أداءً يُعدّ من أفضل الأداء في مجاله، بما في ذلك تحقيق دقة 100% في معيار maj@16 على مسابقة AIME 2024 و2025 باستخدام التفكير المدمج بالأدوات (Python TIR).