Nemotron-3-Super-RL-Training-Blends는 NVIDIA가 2026년에 공개한 강화학습 훈련 데이터 혼합 세트로, Nemotron-3-Super-120B-A12B 모델을 훈련하기 위해 사용되며, 479,303개의 샘플과 총 약 26.3GB 규모의 데이터를 포함합니다. 데이터는 JSONL 형식으로 제공되며, 대규모 언어 모델의 강화학습(검증 가능한 보상 기반, RLVR) 및 후속 훈련을 위해 비율이 조정되고 전처리된 데이터를 제공하는 것을 목표로 합니다.

데이터 세트 구성

• RLVR 1: 수학 추론, 도구 사용, 코드 경진대회, 지시 따르기, 안전 등 다양한 작업 데이터를 포함하며, 총 138,712개의 샘플로 구성됩니다.

• RLVR 2: RLVR 1을 기반으로 다양한 데이터 소스의 혼합 비율을 조정한 것으로, 총 156,278개의 샘플로 구성됩니다.

• RLVR 3: 데이터 비율을 추가로 조정하고 에이전트 능력, 함수 호출 및 강화학습 관련 데이터를 증가시킨 것으로, 총 107,037개의 샘플로 구성됩니다.

• SWE 1: 주로 R2E-Gym-Subset(79.70%)과 SWE-Gym(20.30%)으로 구성되며, 총 50,661개의 샘플로 이루어져 있습니다.

• SWE 2: 주로 R2E-Gym-Subset(81.18%)과 SWE-Gym(18.82%)으로 구성되며, 총 1,444개의 샘플로 이루어져 있습니다.

• RLHF: 주로 Nemotron-RLHF-GenRM-v1(77.00%), Nemotron-RL-Agentic-Conversational-Tool-Use-v1(20.00%) 및 Nemotron-RL-Identity-Following-v1(3.00%)으로 구성되며, 총 25,171개의 샘플로 이루어져 있습니다.