مجموعة بيانات ما قبل التدريب Nemotron-CC-v2

Nemotron-CC-v2 هو إصدار متابعة لـ Nemotron-CC الذي أصدرته NVIDIA في عام 2025. نتائج الورقة ذات الصلة هي "NVIDIA Nemotron Nano 2: نموذج استدلالي دقيق وفعال لمحول مامبا الهجين".

تعتمد مجموعة البيانات هذه على مجموعة بيانات الويب الإنجليزية الحالية بإضافة ثماني لقطات من بيانات Common Crawl للفترة 2024-2025، مع إجراء إزالة التكرار الشاملة وتصفية البيانات باللغة الإنجليزية. كما تستخدم Qwen3-30B-A3B لتجميع محتوى الويب وإعادة صياغته، مع دعمها بـ Diverse Question Answering (ضمان الجودة المتنوع)، وتُترجم إلى 15 لغة لتعزيز التفكير المنطقي متعدد اللغات والتدريب المسبق للمعرفة العامة. تكمن أهميتها في الارتقاء بالنهج الفعال المتمثل في "صفحات الويب الإنجليزية عالية الجودة → ضمان الجودة المتنوع المُركّب" إلى مستوى جديد، حيث تجمع بين تحديثات الزحف على الويب والتوسع متعدد اللغات في نهج منهجي. ومن خلال إزالة التكرار الدقيق والتصفية والتوزيع القابل للتكرار، تُسهّل هذه المجموعة التكامل المباشر في مختلف مسارات التدريب المسبق.