Nemotron-Pretraining-Specialized-v1.1은 NVIDIA가 2026년에 출시한 합성 사전 학습 데이터셋으로, Nemotron 3 시리즈 대규모 언어 모델을 위해 설계되었으며, 프로그래밍 개념 및 알고리즘, 형식 논리, 경제학, 객관식 문제 등의 분야에서 모델 성능을 향상시키는 것을 목표로 합니다.

이 데이터셋은 약 1,977만 개의 샘플을 포함하며, 총 크기는 약 34.9GB이고 Parquet 형식으로 제공됩니다. 여러 대규모 언어 모델을 통해 생성되었으며, 모델 사전 학습 및 성능 향상에 사용될 수 있습니다.

데이터셋 구성

데이터셋은 다음 5개의 하위 집합으로 구성됩니다:

• Nemotron-Pretraining-Code-Concepts: 프로그래밍 개념 조합을 기반으로 생성된 Python 문제와 솔루션을 포함하며, 알고리즘, 데이터 분석, 데이터 구조 등의 주제를 다룹니다.
• Nemotron-Pretraining-Unconditional-Algorithmic: 짧은 프롬프트를 통해 생성된 다양한 형태의 Python 알고리즘 샘플을 포함합니다.
• Nemotron-Pretraining-Formal-Logic: 형식 논리와 관련된 객관식 문제와 답변을 포함하며, 일부 샘플에는 사고 체인이 포함됩니다.
• Nemotron-Pretraining-Economics: 경제학과 관련된 객관식 문제와 답변을 포함하며, 일부 샘플에는 사고 체인이 포함됩니다.
• Nemotron-Pretraining-Multiple-Choice: MMLU auxiliary_train 데이터셋의 다양한 주제 객관식 문제를 포함합니다.

다음 데이터 필드를 포함합니다:

• text: 사전 학습에 사용되는 텍스트 콘텐츠.
• license: 샘플의 라이선스 정보.
• metadata: 샘플 메타데이터로, 데이터 범주와 생성 모델을 포함합니다. Code-Concepts 하위 집합에는 함수 이름, 태그, 문제 프롬프트, 생성된 솔루션도 포함됩니다.
• uuid: 샘플의 고유 식별자.

Citation

이 데이터셋을 연구에 사용할 경우, NVIDIA Nemotron 3 Super 기술 보고서를 인용해 주시기 바랍니다.