Nemotron-Pretraining-Specialized-v1.1 ist ein synthetischer Vortrainingsdatensatz, der von NVIDIA im Jahr 2026 veröffentlicht wurde und speziell für die Nemotron-3-Serie großer Sprachmodelle entwickelt wurde. Ziel ist es, die Fähigkeiten der Modelle in Bereichen wie Programmierkonzepten und Algorithmen, formaler Logik, Wirtschaft und Multiple-Choice-Fragen zu verbessern.

Der Datensatz enthält etwa 19,77 Millionen Stichproben mit einer Gesamtgröße von ungefähr 34,9 GB im Parquet-Format, die von mehreren großen Sprachmodellen generiert wurden und für das Modellvortraining sowie die Fähigkeitsverbesserung verwendet werden können.

Datensatzzusammensetzung

Der Datensatz umfasst die folgenden fünf Teilmengen:

• Nemotron-Pretraining-Code-Concepts: Enthält Python-Probleme und Lösungen, die auf Kombinationen von Programmierkonzepten basieren, und deckt Themen wie Algorithmen, Datenanalyse und Datenstrukturen ab.
• Nemotron-Pretraining-Unconditional-Algorithmic: Enthält verschiedene Formen von Python-Algorithmusbeispielen, die durch kurze Aufforderungen generiert wurden.
• Nemotron-Pretraining-Formal-Logic: Enthält Multiple-Choice-Fragen und Antworten zur formalen Logik, wobei einige Stichproben Gedankenketten enthalten.
• Nemotron-Pretraining-Economics: Enthält wirtschaftsbezogene Multiple-Choice-Fragen und Antworten, wobei einige Stichproben Gedankenketten enthalten.
• Nemotron-Pretraining-Multiple-Choice: Enthält Multiple-Choice-Fragen zu mehreren Themen aus dem MMLU auxiliary_train-Datensatz.

Enthält die folgenden Datenfelder:

• text: Der Textinhalt für das Vortraining.
• license: Die Lizenzinformationen der Stichprobe.
• metadata: Metadaten der Stichprobe, einschließlich Datenkategorie und Generierungsmodell; die Code-Concepts-Teilmenge enthält außerdem Funktionsnamen, Tags, Problemaufforderungen und generierte Lösungen.
• uuid: Der eindeutige Identifikator der Stichprobe.

Zitation

Wenn Sie den Datensatz für Forschungszwecke verwenden, zitieren Sie bitte den NVIDIA Nemotron 3 Super Technical Report.