Nemotron-Pretraining-SFT-v1 ist ein synthetischer generativer Datensatz, der 2025 von NVIDIA veröffentlicht wurde. Das zugehörige Dokument trägt den Titel „NVIDIA Nemotron Nano 2: Ein genaues und effizientes hybrides Mamba-Transformer-Reasoning-Modell“, das darauf abzielt, die Fähigkeiten des Modells bei Aufgaben wie Anweisungsbefolgen, Schlussfolgerung, Code und Beantwortung allgemeiner Fragen zu verbessern.

Dieser Datensatz ist auf MINT-Fächer, akademische Fächer, logisches Denken und mehrsprachige Szenarien ausgerichtet. Er wird aus hochwertigen Materialien aus Mathematik und Naturwissenschaften erstellt und erweitert und kombiniert akademische Texte auf Hochschulniveau mit angeleiteten und optimierten SFT-Daten, um komplexe Multiple-Choice-Fragen und analytische Fragen (mit vollständigen Antworten/Ideen) zu erstellen, die mehrere Aufgabenbereiche wie Mathematik, Codierung, Allgemeinwissen und logisches Denken abdecken.

In den offiziellen Statistiken der Nemotron-Vortrainingsdaten nehmen SFT-bezogene Kategorien (wie Math SFT, Code SFT und General SFT) einen erheblichen Anteil ein, sodass Benutzer die erforderlichen Teilmengen für reproduzierbare Experimente leicht anhand von Metadaten filtern können.