Nemotron-Pretraining-Code-v3 ist einer der von NVIDIA für die Nemotron-3-Serie großer Sprachmodelle erstellten Code-Pretraining-Datensätze. Er dient der Verbesserung des Codeverständnisses, der Codegenerierung, der Codevervollständigung und der Fähigkeiten zum logischen Schlussfolgern in LLM. Dieser Datensatz gehört zum Codekorpus der NVIDIA Nemotron Pretraining Data Series. Die zugehörige Publikation trägt den Titel „Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning“. Dieser Datensatz umfasst 146,3 Millionen Dateien. Die Datenerfassung endete am 30. September 2025. Es handelt sich um eine inkrementelle Version, die im Vergleich zu früheren Versionen nur neu hinzugefügte Quellcodedateien enthält. Ein Vergleich mit früheren Versionen ist erforderlich. v1, v2 In Kombination können sie einen vollständigen Code-Vortrainingskorpus bilden.

Datenfelder:

• commit_id: Die ersten sieben Zeichen des Git-Commit-Hashs.
• rel_path: Der Pfad der Datei im Stammverzeichnis des Repositorys.
• Sprache: Die Programmiersprache für die automatisierte Erkennung und Identifizierung.

Zitat

Wenn Sie diesen Datensatz in Ihrer Forschung verwenden, zitieren Sie ihn bitte. Nemotron 3 Ultra: Offenes, effizientes Hybrid-Mamba-Transformer-Modell mit Expertenmix für agentenbasiertes Schließen .