Nemotron-Pretraining-Code-v1は、GitHubをベースにした大規模コードデータセットの集合であり、NVIDIAが2025年にリリースした。関連する論文の結果は「NVIDIA Nemotron Nano 2: 正確で効率的なハイブリッド Mamba-Transformer 推論モデル」

このデータセットは、多段階の重複排除、ライセンス適用、ヒューリスティックな品質チェックを経てフィルタリングされており、11のプログラミング言語におけるLLM生成コードの質問と回答のペアが含まれています。このデータには、1,751億トークンの高品質な合成コードだけでなく、ユーザーによる再現を容易にするためのメタデータ（約7,474億トークン）も含まれています。