ClimbLab は、NVIDIA が2025年に公開した高品質な事前学習済み言語モデル用データセットであり、関連する論文成果は「CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training」に示されています。このデータセットは、大規模言語モデルに厳選され、クラスタリング最適化されたトレーニングデータを提供することを目的としています。

このデータセットは、1.2兆トークンを含むフィルタリング済みコーパスであり、20のセマンティッククラスタに分割されています。 主に研究および開発用途を対象としており、形式はParquetで、データ規模は約4,000億トークン（公式提供の事前トークン化バージョン）です。データは自動化された方法で収集およびアノテーションが施されています。 Nemotron-CC と SmolLM-Corpus に基づき、CLIMB クラスタリング手法を用いてデータのセマンティック再構成とフィルタリングが行われています。 具体的なプロセスには、データをテーマ別に1,000グループに分割し、広告検出と教育価値評価の2つの分類器でスコアリングし、低品質なデータを除外することが含まれます。

データセット構成

ClimbLab データセットの構造と構成は以下の通りです：

• データ形式：Parquet形式で、GPT-2トークナイザーを使用してトークン化されたトークンシーケンスが含まれます。元のテキストを取得するには、公式提供の detokenize_climblab.py スクリプトを使用してデトークン化処理を行うことができます。
• データクラスタリング：データは20の個別クラスタに分割され、セマンティックな関連性に基づいて整理されており、事前学習の効率向上に役立ちます。
• データ規模：元のコーパスは1.2兆トークンで、公式公開の事前トークン化データセットバージョンは約4,000億トークンです。
• 内容の特徴：広告フィルタリングと教育価値評価を経ており、データの高品質性と教育的関連性が保証されています。

引用

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}