Nemotron-사전 훈련-데이터셋-샘플 샘플링 데이터셋

* 이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

Nemotron-Pretraining-Dataset-sample은 NVIDIA가 2025년에 발표한 Nemotron 사전 학습 데이터셋의 간소화된 샘플링 버전입니다. 관련 논문 결과는 다음과 같습니다.NVIDIA Nemotron Nano 2: 정확하고 효율적인 하이브리드 Mamba-Transformer 추론 모델".

이 데이터 세트는 전체 SFT와 사전 학습 코퍼스의 다양한 구성 요소에서 선택한 10개의 대표적인 하위 세트로 구성되어 있으며, 고품질의 질의 응답 데이터, 수학 분야에 초점을 맞춘 추출된 콘텐츠, 코드 메타데이터, SFT 스타일 지침 데이터를 포함하고 있어 검토 및 빠른 실험에 적합합니다.