ClimbLab ist ein von NVIDIA im Jahr 2025 veröffentlichtes hochwertiges vortrainiertes Sprachmodell-Datenset, dessen zugehörige Forschungsergebnisse in „CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training" dokumentiert sind. Es zielt darauf ab, große Sprachmodelle mit einem streng gefilterten und clusteroptimierten Trainingsdatensatz zu versorgen.

Das Datenset ist ein gefilterter Korpus mit 1,2 Billionen Tokens, der in 20 semantische Cluster unterteilt ist. Das Datenset ist hauptsächlich für Forschungs- und Entwicklungszwecke gedacht, liegt im Parquet-Format vor, umfasst etwa 400 Milliarden Tokens (offizielle vortokenisierte Version) und wurde automatisiert erfasst und annotiert. Basierend auf Nemotron-CC und SmolLM-Corpus wird die Datenstruktur mithilfe der CLIMB-Clustermethode semantisch neu organisiert und gefiltert. Der konkrete Ablauf umfasst die Einteilung der Daten in 1.000 Gruppen nach Themen sowie die Bewertung durch zwei Klassifikatoren für Werbeerkennung und Bildungswert, um minderwertige Daten zu entfernen.

Datenzusammensetzung

Die Struktur und Zusammensetzung des ClimbLab-Datensets ist wie folgt:

• Datenformat: Parquet-Format, das mit dem GPT-2-Tokenizer tokenisierte Token-Sequenzen enthält. Für den Zugriff auf den Originaltext kann das offiziell bereitgestellte Skript detokenize_climblab.py zur Detokenisierung verwendet werden.
• Datenclustering: Die Daten sind in 20 distinct clusters (unabhängige Cluster) unterteilt, die auf semantischer Ähnlichkeit basieren und die Effizienz des Vortrainings verbessern.
• Datenumfang: Der ursprüngliche Korpus umfasst 1,2 Billionen Tokens; die offiziell veröffentlichte vortokenisierte Datensatzversion umfasst etwa 400 Milliarden Tokens.
• Inhaltsmerkmale: Nach Werbefilterung und Bewertung des Bildungswerts wird eine hohe Datenqualität und Bildungsrelevanz sichergestellt.

Zitation

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}