ClimbLab est un ensemble de données de haute qualité pour modèles de langage pré-entraînés, publié par NVIDIA en 2025, dont les résultats de recherche associés sont présentés dans « CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training », visant à fournir des ensembles de données d'entraînement rigoureusement filtrés et optimisés par clustering pour les grands modèles de langage.

Cet ensemble de données est un corpus filtré de 1,2 billion de jetons, divisé en 20 clusters sémantiques. Il est principalement destiné à des fins de recherche et de développement, au format Parquet, avec une échelle de données d'environ 400 milliards de jetons (version pré-tokenisée officielle), collecté et annoté de manière automatisée. Basé sur Nemotron-CC et SmolLM-Corpus, il utilise la méthode de clustering CLIMB pour réorganiser et filtrer sémantiquement les données. Le processus comprend la division des données en 1 000 groupes par thème, puis leur évaluation à l'aide de deux classificateurs — détection de publicités et évaluation de la valeur éducative — afin d'éliminer les données de faible qualité.

Composition de l'ensemble de données

La structure et la composition de l'ensemble de données ClimbLab sont les suivantes :

• Format des données : Format Parquet, contenant des séquences de jetons tokenisées avec le tokenizer GPT-2. Pour obtenir le texte brut, le script detokenize_climblab.py fourni officiellement peut être utilisé pour le détokéniser.
• Clustering des données : Les données sont divisées en 20 clusters distincts, organisés en fonction de la pertinence sémantique, ce qui contribue à améliorer l'efficacité du pré-entraînement.
• Échelle des données : Le corpus original contient 1,2 billion de jetons, tandis que la version pré-tokenisée officiellement publiée compte environ 400 milliards de jetons.
• Caractéristiques du contenu : Filtrage des publicités et évaluation de la valeur éducative, garantissant une haute qualité et une pertinence éducative des données.

Citation

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}