مجموعة بيانات التدريب المسبق للرياضيات Nemotron-CC-Math

Nemotron-CC-Math هي مجموعة بيانات تدريب مسبق عالية الجودة وواسعة النطاق تركز على الرياضيات، أصدرتها NVIDIA وجامعة بوسطن في عام 2025. نتائج الورقة ذات الصلة هي "Nemotron-CC-Math: مجموعة بيانات تدريب رياضيات أولية عالية الجودة بمقياس 133 مليار رمز"، يهدف إلى الحفاظ على المحتوى الرياضي والبرمجي عالي القيمة وعرضه، وبالتالي قيادة الموجة التالية من نماذج اللغة الذكية القادرة عالميًا.

بُنيت مجموعة البيانات هذه، التي تحتوي على 133 مليار رمز، من Common Crawl باستخدام خط أنابيب استخراج وتطبيع قائم على NVIDIA Lynx وبرنامج LLM خفيف الوزن. مع الحفاظ على بنية المعادلات والرموز، تم توحيد المحتوى الرياضي بتنسيق LaTeX قابل للتعديل. يمثل هذا أول تغطية موثوقة لتنسيقات رياضية متنوعة (بما في ذلك طويلة الذيل) على نطاق الويب؛ وقد تم التحقق من مزاياه في العديد من معايير التقييم.