ClimbLab은 NVIDIA가 2025년에 발표한 고품질 사전 학습 언어 모델 데이터셋으로, 관련 논문 성과는 「CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training」이며, 대규모 언어 모델에 엄격한 필터링 및 클러스터링 최적화를 거친 학습 데이터셋을 제공하는 것을 목표로 합니다.

이 데이터셋은 1.2조 개의 토큰으로 구성된 필터링된 코퍼스로, 총 20개의 의미 클러스터로 나뉩니다. 이 데이터셋은 주로 연구 및 개발 용도로 설계되었으며, 형식은 Parquet이고 데이터 규모는 약 4,000억 개의 토큰(공식 제공 사전 토큰화 버전)이며, 자동화된 방식으로 수집 및 주석이 처리되었습니다. Nemotron-CC 및 SmolLM-Corpus를 기반으로, CLIMB 클러스터링 방법을 통해 데이터를 의미적으로 재구성하고 필터링합니다. 구체적인 프로세스는 데이터를 주제별로 1,000개 그룹으로 나누고, 광고 탐지 및 교육 가치 평가라는 두 가지 분류기를 사용하여 점수를 매긴 후 저품질 데이터를 제거하는 방식입니다.

데이터셋 구성

ClimbLab 데이터셋의 구조 및 구성은 다음과 같습니다:

• 데이터 형식: Parquet 형식으로, GPT-2 토크나이저를 사용하여 토큰화된 토큰 시퀀스를 포함합니다. 원본 텍스트가 필요한 경우 공식 제공 detokenize_climblab.py 스크립트를 사용하여 토큰 해제 처리를 수행할 수 있습니다.
• 데이터 클러스터링: 데이터는 20개의 개별 클러스터로 나뉘며, 의미적 연관성을 기반으로 구성되어 사전 학습 효율성을 높이는 데 도움이 됩니다.
• 데이터 규모: 원본 코퍼스는 1.2조 개의 토큰이며, 공식 발표된 사전 토큰화 데이터셋 버전은 약 4,000억 개의 토큰입니다.
• 콘텐츠 특징: 광고 필터링 및 교육 가치 평가를 거쳐 데이터의 고품질과 교육적 연관성을 보장합니다.

인용

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}