مجموعة بيانات ClimbMix هي مجموعة بيانات عالية الجودة أصدرتها شركة إنفيديا (NVIDIA) في عام 2025، ومصممة خصيصاً للتدريب المسبق الفعال لنماذج اللغة الكبيرة، وقد نُشرت النتائج البحثية المتعلقة بها تحت عنوان «CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training»، يهدف من خلال خوارزميات التجميع والخلط المتكررة المبتكرة إلى تقديم أداء أفضل في التدريب المسبق مقارنة بمجموعات البيانات العامة الحالية، مع الحفاظ على نفس ميزانية الرموز (Tokens).

تحتوي مجموعة البيانات هذه على 400 مليار رمز (Token)، بصيغة نصية مخزنة بتنسيق Parquet، ومُعالجة ومصنّدة باستخدام مُجزئ GPT-2.
أثناء بناء المجموعة، تم تقسيم البيانات الأولية أولاً إلى 1,000 مجموعة استنادًا إلى معلومات الموضوعات، ثم طُبِّقت مصنفان للتقييم—one للكشف عن الإعلانات وone لتقييم القيمة التعليمية—لتصنيف كل مجموعة بيانات وإزالة المحتوى منخفض الجودة. وأخيرًا، تم دمج المجموعات عالية الجودة الباقية وفقًا لأوزان محددة.

يُستخدم هذا المجموعة فقط للأغراض البحثية والتطويرية، بهدف مساعدة الباحثين على استكشاف اتجاهات أكثر كفاءة في توسيع النماذج.

تكوين مجموعة البيانات

تشمل مجموعة البيانات بشكل رئيسي المعلومات التالية:

• حجم البيانات: 400 مليار رمز (Token)
• تنسيق البيانات: تسلسلات نصية محفوظة بتنسيق Parquet
• طريقة التجزئة: استخدام مُجزئ GPT-2 لتصنيف النص
• مصدر البيانات: جمع ومعالجة تلقائيّة
• أسلوب التصنيف: تصنيف وتصفية آليّة

الاقتباس```bibtex

@article{diao2025climb, author = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov}, title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, journal = {arXiv preprint}, year = {2025}, archivePrefix = {arXiv}, primaryClass = {cs.CL}, url={https://arxiv.org/abs/2504.13161}, }