ClimbLab هو مجموعة بيانات عالية الجودة لنماذج اللغة قبل التدريب، أصدرتها NVIDIA في عام 2025، وتُعرض النتائج البحثية ذات الصلة في ورقة بعنوان «CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training»، وتهدف إلى توفير مجموعات بيانات تدريبية تمت تصفيتها وتحسين تجميعها بدقة لنماذج اللغة الكبيرة.

تتكون هذه المجموعة من مرجع لغوي مُصفى يحتوي على 1.2 تريليون رمز، مقسم إلى 20 تجميعًا دلاليًا. تستهدف هذه المجموعة بشكل أساسي أغراض البحث والتطوير، بصيغة Parquet، ويبلغ حجم البيانات حوالي 400 مليار رمز (النسخة المُجزأة مسبقًا المقدمة رسميًا)، ويتم جمعها ووضع علامات عليها بطريقة آلية. استنادًا إلى Nemotron-CC وSmolLM-Corpus، يتم إعادة تنظيم البيانات دلاليًا وتصفيتها من خلال طريقة تجميع CLIMB. تشمل العملية المحددة تقسيم البيانات إلى 1,000 مجموعة حسب الموضوع، واستخدام مصنفين للكشف عن الإعلانات وتقييم القيمة التعليمية لتسجيل النقاط، مع استبعاد البيانات منخفضة الجودة.

تكوين مجموعة البيانات

هيكل وتكوين مجموعة بيانات ClimbLab كما يلي:

• صيغة البيانات: بصيغة Parquet، وتحتوي على تسلسلات رموز تم تجزئتها باستخدام مُجزئ GPT-2. للحصول على النص الأصلي، يمكن استخدام البرنامج النصي الرسمي detokenize_climblab.py لإزالة التجزئة.
• تجميع البيانات: تنقسم البيانات إلى 20 مجموعة مستقلة (clusters مستقلة)، منظمة بناءً على الارتباط الدلالي، مما يساعد على تحسين كفاءة التدريب المسبق.
• حجم البيانات: المرجع اللغوي الأصلي هو 1.2 تريليون رمز، بينما تبلغ النسخة المُجزأة مسبقًا المنشورة رسميًا حوالي 400 مليار رمز.
• خصائص المحتوى: بعد تصفية الإعلانات وتقييم القيمة التعليمية، يتم ضمان الجودة العالية للبيانات وارتباطها التعليمي.

Citation

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}