Nemotron-Pretraining-Specialized-v1.1 هو مجموعة بيانات تدريبية تركيبية أصدرتها NVIDIA في عام 2026، مصممة خصيصًا لسلسلة نماذج اللغات الكبيرة Nemotron 3، بهدف تحسين قدرات النماذج في مجالات مفاهيم البرمجة والخوارزميات والمنطق الرسمي والاقتصاد والأسئلة متعددة الاختيارات.

تحتوي مجموعة البيانات على حوالي 19.77 مليون عينة، بحجم إجمالي يبلغ حوالي 34.9 جيجابايت، بتنسيق Parquet، تم إنشاؤها بواسطة عدة نماذج لغوية كبيرة، ويمكن استخدامها للتدريب المسبق للنماذج وتحسين القدرات.

مكونات مجموعة البيانات

تحتوي مجموعة البيانات على خمس مجموعات فرعية:

• Nemotron-Pretraining-Code-Concepts: يتضمن مشكلات وحلول Python تم إنشاؤها بناءً على مجموعات مفاهيم البرمجة، ويغطي موضوعات مثل الخوارزميات وتحليل البيانات وهياكل البيانات.
• Nemotron-Pretraining-Unconditional-Algorithmic: يتضمن عينات خوارزمية Python بأشكال متعددة تم إنشاؤها عبر مطالبات قصيرة.
• Nemotron-Pretraining-Formal-Logic: يتضمن أسئلة وأجوبة متعددة الاختيارات متعلقة بالمنطق الرسمي، وتحتوي بعض العينات على سلاسل تفكير.
• Nemotron-Pretraining-Economics: يتضمن أسئلة وأجوبة متعددة الاختيارات متعلقة بالاقتصاد، وتحتوي بعض العينات على سلاسل تفكير.
• Nemotron-Pretraining-Multiple-Choice: يتضمن أسئلة متعددة الاختيارات متعددة المواضيع من مجموعة بيانات MMLU auxiliary_train.

يتضمن حقول البيانات التالية:

• text: محتوى النص المستخدم للتدريب المسبق.
• license: معلومات ترخيص العينة.
• metadata: بيانات وصفية للعينة، بما في ذلك فئة البيانات والنموذج المولّد؛ وتتضمن المجموعة الفرعية Code-Concepts أيضًا أسماء الدوال والوسوم ومطالبات الأسئلة والحلول المولّدة.
• uuid: المعرّف الفريد للعينة.

الاستشهاد

عند استخدام مجموعة البيانات هذه للبحث، يرجى الاستشهاد بـ تقرير NVIDIA Nemotron 3 Super التقني.