Nemotron-Pretraining-Code-v3 est l'un des jeux de données de pré-entraînement de code créés par NVIDIA pour la série de modèles de langage Nemotron 3. Il vise à améliorer les capacités de compréhension, de génération, de complétion et de raisonnement du code des modèles de langage. Ce jeu de données fait partie du corpus de code de la série de données de pré-entraînement NVIDIA Nemotron. L'article associé est intitulé « Nemotron 3 Ultra : Modèle hybride Mamba-Transformer ouvert et efficace, basé sur un mélange d'experts, pour le raisonnement agentique ». Cet ensemble de données contient 146,3 millions de fichiers. La collecte des données s'est terminée le 30 septembre 2025. Il s'agit d'une version incrémentale, incluant uniquement les fichiers de code source nouvellement ajoutés par rapport aux versions précédentes. Elle doit être comparée aux versions antérieures. v1, v2 Utilisés ensemble, ils peuvent former un corpus complet de pré-entraînement du code.

Champs de données:

• commit_id : Les sept premiers caractères du hachage de commit Git.
• rel_path : Le chemin d’accès au fichier dans le répertoire racine du dépôt.
• Langage : Le langage de programmation pour la détection et la reconnaissance automatisées.

Citation

Si vous utilisez cet ensemble de données dans vos recherches, veuillez le citer. Nemotron 3 Ultra : Modèle hybride Mamba-Transformer ouvert et efficace, basé sur un mélange d’experts, pour le raisonnement agentiel .