ClimbMix-Datensatz ist ein von NVIDIA im Jahr 2025 veröffentlichter hochwertiger Datensatz, der speziell für das effiziente Pre-Training großer Sprachmodelle entwickelt wurde. Die zugehörige Forschungsergebnis-Publikation ist „CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training", die darauf abzielt, durch innovative Clustering- und iterative Mischalgorithmen eine bessere Pre-Training-Leistung als bestehende öffentliche Datensätze bei gleichem Token-Budget zu bieten.

Der Datensatz umfasst 400 Milliarden Token, das Datenformat ist Textformat (Parquet), und es wird der GPT-2-Tokenizer zur Vorverarbeitung und Tokenisierung verwendet. Der Aufbauprozess des Datensatzes unterteilt zunächst die Rohdaten basierend auf Themeninformationen in 1.000 Gruppen. Anschließend werden zwei Klassifikatoren – einer für Werbeerkennung und einer für die Bewertung des Bildungswerts – auf jede Gruppe angewendet, um qualitativ minderwertige Daten zu entfernen. Schließlich werden die verbleibenden hochwertigen Datengruppen gemäß bestimmten Gewichten gemischt. Der Datensatz dient ausschließlich Forschungs- und Entwicklungszwecken und soll Forschern helfen, effizientere Modell-Skalierungstrends zu untersuchen.

Zusammensetzung des Datensatzes

Der Datensatz enthält hauptsächlich die folgenden Schlüsselinformationen:

• Datenumfang: 400 Milliarden Token
• Datenformat: Textsequenzen im Parquet-Format
• Tokenisierungsmethode: Tokenisierung mit dem GPT-2-Tokenizer
• Datenquelle: Automatisierte Sammlung und Verarbeitung
• Beschriftungsmethode: Automatisierte Beschriftung und Filterung

Zitieren

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}