ClimbMixデータセットは、NVIDIAが2025年に公開した、大規模言語モデルの効率的な事前学習向けに設計された高品質なデータセットであり、関連する論文成果は「CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training」です。革新的なクラスタリングと反復混合アルゴリズムを通じて、同等のトークンバジェットで既存の公開データセットを上回る事前学習性能を提供することを目的としています。

このデータセットには4,000億トークンが含まれており、データ形式はテキスト形式（Parquet）で、GPT-2トークナイザーを使用して前処理とトークン化が行われています。 データセットの構築プロセスでは、まず元データをトピック情報に基づいて1,000のグループに分類し、その後、広告検出と教育価値評価の2種類の分類器を各グループに適用してスコアリングし、低品質なデータを除去し、最後に特定の重みに基づいて残りの高品質なデータグループを混合します。 このデータセットは研究開発目的のみに使用され、研究者がより効率的なモデルスケーリングの傾向を探求するのに役立つことを目的としています。

データセット構成

データセットには主に以下の主要情報が含まれています：

• データ規模：4,000億トークン
• データ形式：Parquet形式で保存されたテキストシーケンス
• トークン化方法：GPT-2トークナイザーを使用
• データソース：自動収集と処理
• ラベル付け方法：自動ラベル付けとフィルタリング

引用

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}