Nemotron-Pretraining-Code-v3 是 NVIDIA 为 Nemotron 3 系列大语言模型打造的代码预训练数据集之一，旨在增强 LLM 的代码理解、生成、补全和推理能力，本数据集属于 NVIDIA Nemotron Pretraining Data 系列中的代码语料部分，相关论文成果为 Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning 。 该数据集共包含 1.463 亿个文件。数据采集截止至 2025 年 9 月 30 日，该数据集为增量版本，仅收录该系列相对于前序版本的新增源代码文件，需与 v1 、 v2 配合使用，方可构成完整的代码预训练语料库。

数据字段:

• commit_id: Git 提交哈希值的前七个字符。
• rel_path: 文件在仓库根目录的路径。
• language: 自动化检测识别的编程语言。

Citation

如果您在研究中使用此数据集，请引用 Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning 。