ClimbMix 데이터셋은 NVIDIA가 2025년에 발표한 대규모 언어 모델의 효율적인 사전 학습을 위해 설계된 고품질 데이터셋으로, 관련 논문은「CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training」이며, 혁신적인 클러스터링 및 반복 혼합 알고리즘을 통해 동일한 토큰 예산에서 기존 공개 데이터셋보다 우수한 사전 학습 성능을 제공하는 것을 목표로 합니다.

이 데이터셋은 4,000억 개의 토큰을 포함하며, 데이터 형식은 텍스트 형식(Parquet)이며, GPT-2 토크나이저를 사용하여 전처리 및 토큰화가 수행됩니다. 데이터셋 구축 과정은 먼저 원본 데이터를 주제 정보에 따라 1,000개의 그룹으로 나눈 후, 광고 탐지 및 교육 가치 평가 두 가지 분류기를 각 그룹의 데이터에 적용하여 점수를 매기고, 저품질 데이터를 제거한 다음, 특정 가중치에 따라 남은 고품질 데이터 그룹을 혼합합니다. 이 데이터셋은 연구 개발 목적으로만 사용되며, 연구자들이 더 효율적인 모델 확장 추세를 탐구하는 데 도움을 주기 위해 설계되었습니다.

데이터셋 구성

데이터셋은 주로 다음과 같은 핵심 정보를 포함합니다:

• 데이터 규모: 4,000억 토큰
• 데이터 형식: Parquet 형식으로 저장된 텍스트 시퀀스
• 토큰화 방식: GPT-2 토크나이저를 사용한 토큰화
• 데이터 출처: 자동화된 수집 및 처리
• 라벨링 방법: 자동화된 라벨링 및 필터링

Citation

@article{diao2025climb,
  author    = {Shizhe Diao and Yu Yang and Yonggan Fu and Xin Dong and Dan Su and Markus Kliegl and Zijia Chen and Peter Belcak and Yoshi Suhara and Hongxu Yin and Mostofa Patwary and Celine Lin and Jan Kautz and Pavlo Molchanov},
  title={CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training}, 
  journal   = {arXiv preprint},
  year      = {2025},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL},
  url={https://arxiv.org/abs/2504.13161}, 
}