Nemotron-Pretraining-Specialized-v1.1 是由 NVIDIA 于 2026 年发布的合成预训练数据集，专为 Nemotron 3 系列大语言模型设计，旨在提升模型在编程概念与算法、形式逻辑、经济学和多项选择题等领域的能力。

数据集包含约 1,977 万条样本，总大小约为 34.9 GB，采用 Parquet 格式，由多个大语言模型生成，可用于模型预训练及能力提升。

数据集组成

数据集包含以下五个子集：

• Nemotron-Pretraining-Code-Concepts：包含基于编程概念组合生成的 Python 问题与解决方案，涵盖算法、数据分析和数据结构等主题。
• Nemotron-Pretraining-Unconditional-Algorithmic：包含通过简短提示生成的多种形式的 Python 算法样本。
• Nemotron-Pretraining-Formal-Logic：包含形式逻辑相关的多项选择题与答案，部分样本包含思维链。
• Nemotron-Pretraining-Economics：包含经济学相关的多项选择题与答案，部分样本包含思维链。
• Nemotron-Pretraining-Multiple-Choice：包含来自 MMLU auxiliary_train 数据集的多主题多项选择题。

包含以下数据字段：

• text：用于预训练的文本内容。
• license：样本的许可证信息。
• metadata：样本元数据，包括数据类别和生成模型；Code-Concepts 子集还包含函数名、标签、问题提示词和生成的解决方案。
• uuid：样本的唯一标识符。

Citation

使用该数据集进行研究时，请引用 NVIDIA Nemotron 3 Super 技术报告。