ClimbMix 数据集是由 NVIDIA 于 2025 年发布的一个专为大语言模型高效预训练设计的高质量数据集，相关论文成果为「CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training」，旨在通过创新的聚类与迭代混合算法，在同等 Token 预算下提供优于现有公开数据集的预训练性能。

该数据集包含 4,000 亿个 Token，数据格式为文本格式（Parquet），采用 GPT-2 分词器进行预处理和分词。 数据集的构建过程首先将原始数据按主题信息分为 1,000 个组，随后应用广告检测和教育价值评估两类分类器对每组数据进行评分，剔除低质量数据，最后根据特定权重混合剩余的高质量数据组。 该数据集仅用于研发目的，旨在帮助研究人员探索更高效的模型缩放趋势。

Composition du jeu de données

Le jeu de données comprend principalement les informations clés suivantes :

• Taille des données : 400 milliards de tokens
• Format des données : séquences de texte stockées au format Parquet
• Méthode de tokenisation : tokeniseur GPT-2
• Source des données : collecte et traitement automatisés
• Méthode d'étiquetage : étiquetage et filtrage automatisés

Citation

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}