Command Palette
Search for a command to run...
Datensatzübersicht | NVIDIA Open Sources Nemotron-Datensätze: Über 10 TB Token + 40 Millionen Trainingsbeispiele, Die Mathematisches Denken, Codegenerierung Und Mehrsprachigen Dialog abdecken.
Trainingsdaten werden im Wettbewerb um große Modelle zu einer entscheidenden Variable. Wenn die Anzahl der Parameter nicht mehr das einzige Hindernis darstellt, bestimmen Qualität, Struktur und Eignung der Daten für die jeweilige Aufgabe zunehmend die tatsächliche Leistungsfähigkeit des Modells in Bereichen wie Inferenz, Code und Interaktion.
Die Nemotron-Datensatzreihe von NVIDIA ist ein Datenressourcensystem, das als Reaktion auf diesen Trend entwickelt wurde. Es enthält mehr als 10 TB an Tokens und 40 Millionen Trainingsbeispiele und deckt den gesamten Trainingslebenszyklus vom Basismodell bis zum Agenten-Workflow ab.Im Gegensatz zu herkömmlichen Vortrainingsdaten, die sich ausschließlich auf den Umfang konzentrieren, legt die Nemotron-Serie Wert auf die gezielte Abdeckung verschiedener Fähigkeitsdimensionen, wobei jeder Datensatz einem spezifischen Aspekt des Modellfähigkeitsaufbaus entspricht.
Dieser Artikel fasst 15 Nemotron-Datensätze zusammen, die mehrere Kernfunktionen des aktuellen Trainings groß angelegter Modelle abdecken:Allgemeines Text-Vortraining, überwachtes Feintuning (SFT), Codegenerierung, mathematisches Schließen und mehrsprachige Persona-Dialogdaten.Es bietet eine systematische Datenunterstützung für das Modell, von der grundlegenden Fähigkeitsentwicklung bis hin zur Optimierung der Aufgabenfähigkeit.
Die Designphilosophie dieser Datensätze offenbart einen deutlichen Wandel: Das Training von Modellen im großen Maßstab verlagert sich von „stärkere Modelle mit mehr Daten trainieren“ hin zu „geeignetere Modelle mit genaueren Daten trainieren“. Der Ansatz der Nemotron-Serie ist ein Mikrokosmos dieses Trends. Dies bedeutet, dass die Möglichkeit, Trainingsdaten zu gestalten, zu einer entscheidenden Variable wird, die die Leistungsfähigkeit eines Modells maximal bestimmt.
Die folgenden Datensätze wurden alle in HyperAI (hyper.ai) aufgenommen, und wir hoffen, damit eine systematische Datenressourcenreferenz für Forscher und Entwickler großer Modelle bereitzustellen.
Weitere hochwertige Datensätze:
Datensatzempfehlung
1. Nemotron-CC-v2 vortrainierter Datensatz
* Online nutzen:
Nemotron-CC-v2 ist der Nachfolger von Nemotron-CC, das 2025 von NVIDIA veröffentlicht wurde. Die zugehörige Veröffentlichung trägt den Titel „NVIDIA Nemotron Nano 2: Ein präzises und effizientes hybrides Mamba-Transformer-Reasoning-Modell“.
Dieser Datensatz baut auf dem bestehenden englischen Webkorpus auf und ergänzt acht Common-Crawl-Snapshots aus den Jahren 2024–2025. Er führt eine globale Deduplizierung und englische Filterung durch. Er verwendet außerdem Qwen3-30B-A3B zur Synthese und Neuformulierung von Webinhalten, ergänzt durch Diverse Question Answering (Diverse QA) und übersetzt sie in 15 Sprachen, um das mehrsprachige logische Denken und das Vortraining von Allgemeinwissen zu verbessern. Seine Bedeutung liegt darin, den effektiven Ansatz „Hochwertige englische Webseiten → synthetisierte Diverse QA“ auf ein neues Niveau zu heben, indem aktualisiertes Web-Crawling und mehrsprachige Erweiterung zu einem systematischen Ansatz kombiniert werden. Durch rigorose Deduplizierung, Filterung und reproduzierbare Verteilung erleichtert er die direkte Integration in verschiedene Vortrainings-Pipelines.
2. Nemotron-Pretraining-SFT-Datensatz für überwachtes Feinabstimmen
* Online nutzen:
Nemotron-Pretraining-SFT-v1 ist ein synthetischer generativer Datensatz, der 2025 von NVIDIA veröffentlicht wurde. Das zugehörige Dokument trägt den Titel „NVIDIA Nemotron Nano 2: Ein genaues und effizientes hybrides Mamba-Transformer-Reasoning-Modell“, das darauf abzielt, die Fähigkeiten des Modells bei Aufgaben wie Anweisungsbefolgen, Schlussfolgerung, Code und Beantwortung allgemeiner Fragen zu verbessern.
Dieser Datensatz ist für MINT-Fächer, akademische Bereiche, logisches Denken und mehrsprachige Szenarien konzipiert. Er basiert auf hochwertigen mathematischen und naturwissenschaftlichen Materialien und kombiniert akademische Texte auf Hochschulniveau mit präzise abgestimmten SFT-Daten, um komplexe Multiple-Choice- und analytische Fragen (inklusive vollständiger Lösungen/Lösungsansätze) zu erstellen. Diese decken verschiedene Aufgabenbereiche wie Mathematik, Programmierung, Allgemeinwissen und logisches Denken ab. In den offiziellen Statistiken der Nemotron-Vortrainingsdaten machen SFT-bezogene Kategorien (wie Math SFT, Code SFT und General SFT) einen signifikanten Anteil aus. Dies erleichtert es Nutzern, die benötigten Teilmengen anhand von Metadaten für reproduzierbare Experimente zu filtern.
3. Nemotron-Pretraining-Code-Datensatz
* Online nutzen:
Nemotron-Pretraining-Code-v1 ist ein Satz sorgfältig ausgewählter, umfangreicher Code-Datensätze, die auf GitHub erstellt und von NVIDIA im Jahr 2025 veröffentlicht wurden. Die zugehörige Veröffentlichung trägt den Titel „NVIDIA Nemotron Nano 2: Ein präzises und effizientes hybrides Mamba-Transformer-Reasoning-Modell“.
Dieser Datensatz, der durch mehrstufige Deduplizierung, Lizenzprüfung und heuristische Qualitätsprüfungen gefiltert wurde, enthält von LLM generierte Code-Frage-Antwort-Paare für elf Programmiersprachen. Neben 175,1 Milliarden hochwertiger, synthetisierter Code-Tokens umfasst der Datensatz auch Metadaten (ca. 747,4 Milliarden Tokens), um die Reproduktion durch Benutzer zu erleichtern.
4. Nemotron-Pretraining-Code Pre-Training Dataset
* Online nutzen:
Nemotron-Pretraining-Code-v3 ist einer der von NVIDIA für die Nemotron-3-Serie großer Sprachmodelle erstellten Code-Pretraining-Datensätze. Er dient der Verbesserung des Codeverständnisses, der Codegenerierung, der Codevervollständigung und der Fähigkeiten zum logischen Schlussfolgern in LLM. Dieser Datensatz gehört zum Codekorpus der NVIDIA Nemotron Pretraining Data Series. Die zugehörige Publikation trägt den Titel „Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning“.
Dieser Datensatz umfasst insgesamt 146,3 Millionen Dateien. Die Datenerfassung endete am 30. September 2025. Es handelt sich um eine inkrementelle Version, die ausschließlich die im Vergleich zu früheren Versionen hinzugefügten Quellcodedateien enthält. Er muss zusammen mit Version 1 und 2 verwendet werden, um ein vollständiges Code-Pre-Training-Korpus zu erstellen.
5. Nemotron-CC-Math Mathematisches Vortrainings-Datenset
* Online nutzen:
Nemotron-CC-Math ist ein hochwertiger, umfangreicher, vortrainierter Datensatz mit Schwerpunkt Mathematik, der 2025 von NVIDIA und der Boston University veröffentlicht wurde. Die zugehörige Publikation trägt den Titel „Nemotron-CC-Math: Ein hochwertiger mathematischer Pretraining-Datensatz mit 133 Milliarden Token“. Ziel ist es, wertvolle mathematische und Code-Inhalte zu erhalten und darzustellen und so die nächste Generation intelligenter, global einsetzbarer Sprachmodelle zu fördern.
Dieser Datensatz umfasst 133 Milliarden Token und wurde mithilfe von Common Crawl und einer Extraktions- und Normalisierungspipeline auf Basis von NVIDIA Lynx und einem schlanken LLM erstellt. Unter Beibehaltung der Gleichungs- und Codeformatstruktur vereinheitlicht er die mathematischen Inhalte in ein editierbares LaTeX-Format und erreicht damit erstmals im Webmaßstab die Abdeckung mehrerer (auch seltener) mathematischer Formate. Seine Vorteile wurden in mehreren Benchmarks bestätigt.
6. Nemotron-Personas-Korea (Koreanischer Datensatz synthetischer Menschen)
* Online nutzen:
Nemotron-Personas-Korea ist ein Datensatz synthetischer koreanischer Schriftzeichen, der 2026 von NVIDIA veröffentlicht wurde und die Vielfalt und Merkmale der koreanischen Bevölkerung umfassend abbilden soll. Dieser Datensatz ist der erste seiner Art und dient primär dazu, die Diversität der synthetischen Daten von Sovereign AI zu erweitern, Daten- und Modellverzerrungen zu minimieren und die Diversität der Modellantworten zu verbessern.
Dieser Datensatz umfasst 1 Million Einträge mit jeweils 7 virtuellen Charakteren, insgesamt etwa 7 Millionen Charakterbeschreibungen und ca. 1,7 Milliarden Token, von denen 1 Milliarde den Charakteren zugeordnet sind. Die Daten decken 17 autonome Metropolregionen und 252 Städte/Bezirke in Südkorea ab und enthalten 209.167 eindeutige Namen. Der Datensatz basiert auf offiziellen Informationen des Koreanischen Statistischen Informationsdienstes (KOSIS), des Obersten Gerichtshofs von Korea, der Nationalen Krankenversicherung, des Koreanischen Instituts für Ländliche Wirtschaftsforschung und von NAVER Cloud. Alle Charaktere sind rein virtuell und entsprechen keinerlei realen Personendaten; Daten von Minderjährigen unter 19 Jahren wurden ausgeschlossen.
7. Nemotron Personas France (Französischer Datensatz synthetischer Personen)
* Online nutzen:
Nemotron Personas France ist ein französischer Datensatz synthetischer Charaktere, der 2026 von NVIDIA in Zusammenarbeit mit Pleias veröffentlicht wurde. Er enthält Daten synthetischer Charaktere, die auf Basis realer demografischer, geografischer und persönlicher Merkmale Frankreichs generiert wurden. Ziel ist es, vielfältige Daten synthetischer Charaktere bereitzustellen, um die Modellentwicklung durch die Abbildung der geografischen und demografischen Verteilung Frankreichs zu unterstützen.
Dieser Datensatz enthält 6.000.000 Einträge zu Franzosen, verteilt auf 1.000.000 Datensätze. Jeder Datensatz enthält 22 Felder (wie Name, Geschlecht, Alter, Familienstand, Beruf usw.) und umfasst verschiedene Personentypen (Wissenschaftler, Sportbegeisterte, Kunstliebhaber, Feinschmecker, Reisebegeisterte usw.).
8.Nemotron-Personas-Brazil Brasilianischer Datensatz für synthetische Charaktere
* Online nutzen:
Nemotron-Personas-Brazil ist ein synthetischer Charakterdatensatz für Brasilien, der 2026 von NVIDIA in Zusammenarbeit mit WideLabs veröffentlicht wurde. Er soll die Vielfalt und den Reichtum der brasilianischen Bevölkerung aufzeigen und die multidimensionale potenzielle Bevölkerungsverteilung umfassender widerspiegeln, einschließlich regionaler Unterschiede (wie Norden, Nordosten und Mittelwesten), ethnischer Zugehörigkeit, Bildungsniveau und Berufsverteilung.
Dieser Datensatz umfasst 1.000.000 Datensätze mit jeweils sechs zusammengesetzten Zeichen. Jeder Datensatz enthält sechs Zeichenfelder und 14 Kontextfelder, die statistisch auf Grundlage der offiziellen Bevölkerungsstruktur und Arbeitsmarktverteilung Brasiliens erstellt wurden. Die Daten decken die geografische und demografische Verteilung aller 26 Bundesstaaten und des Bundesdistrikts Brasilien ab.
9.Nemotron Personas USA (USA) Persönlichkeitsdatensatz
* Online nutzen:
Nemotron-Personas-USA ist ein umfangreicher Datensatz synthetischer Nutzerprofile, der 2025 von NVIDIA veröffentlicht wurde. Er dient der Unterstützung des Trainings und der Evaluierung großer Sprachmodelle (LLMs) und intelligenter Agentensysteme für Aufgaben wie Dialoggenerierung, Persona-Simulation, Nutzermodellierung und Verhaltensanalyse. Der Datensatz umfasst ca. 1 Million virtuelle Personen mit insgesamt 6 Millionen Persona-Feldern und 16 Kontextinformationsfeldern. Er deckt alle 50 Bundesstaaten der USA sowie Puerto Rico und die Jungferninseln ab und umfasst 29.000 Postleitzahlengebiete (ZCTAs) und 15.200 Städte/Regionen. Damit bietet er eine nahezu vollständige Abbildung der geografischen und sozialen Verteilung der US-Bevölkerung.
Der Datensatz umfasst ca. 970.000 eindeutige Namen und deckt über 560 Berufskategorien ab. Die Berufsverteilung orientiert sich an realen Berufsstatistiken und gewährleistet so eine hohe soziale Repräsentativität. Jeder Datenpunkt besteht aus mehrdimensionalen Feldern, darunter strukturierte demografische Informationen wie Alter, Geschlecht, Bildungsstand, Einkommen, Beruf und Wohnort sowie natürlichsprachliche Personenbeschreibungen wie Interessen, Werte, Lebensstil und persönliche Ziele. Diese bilden eine zusammengesetzte Personendarstellung, die strukturierte Informationen mit unstrukturiertem Text kombiniert.
10. Nemotron-Personas-Japan: Ein Datensatz japanischer synthetischer menschlicher Figuren.
* Online nutzen:
Nemotron-Personas-Japan ist ein Datensatz mit synthetischen menschlichen Figuren, der von NVIDIA im Jahr 2025 veröffentlicht wurde. Er soll die Vielfalt und den Reichtum der japanischen Bevölkerung aufzeigen und wird in erster Linie zur Unterstützung der Entwicklung souveräner KI-Systeme, des Trainings großer Sprachmodelle und zur Reduzierung von Verzerrungen in synthetischen Daten verwendet.
Dieser Datensatz umfasst 1 Million Einträge mit jeweils 6 virtuellen Charakteren, insgesamt etwa 6 Millionen Charakterbeschreibungen und ca. 1,4 Milliarden Token, von denen 850 Millionen den Charakteren zugeordnet sind. Die Daten decken alle 47 Präfekturen Japans, über 1.500 Berufskategorien und mehr als 950.000 eindeutige Namen ab. Der Datensatz basiert auf offiziellen japanischen demografischen Daten, der geografischen Verteilung und der Verteilung von Persönlichkeitsmerkmalen. Alle Charaktere sind rein virtuell und entsprechen keinerlei realen Personendaten. Daten von Minderjährigen unter 18 Jahren wurden ausgeschlossen.
11. Nemotron-Personas-India: Ein Datensatz synthetischer menschlicher Figuren aus Indien.
* Online nutzen:
Nemotron-Personas-India ist ein synthetischer Datensatz für Indien, der von NVIDIA im Jahr 2025 veröffentlicht wurde. Ziel ist es, die Diversität synthetischer Daten zu verbessern, Modellverzerrungen zu reduzieren und Modellzusammenbrüche zu verhindern, indem die reale geografische und demografische Verteilung Indiens abgebildet wird. Er dient hauptsächlich dazu, indische Modellentwickler beim Aufbau souveräner KI-Systeme zu unterstützen, die regional spezifische demografische Merkmale und kulturelle Hintergründe berücksichtigen können.
Dieser Datensatz umfasst 3 Millionen Einträge mit jeweils 7 virtuellen Charakterrollen, insgesamt etwa 21 Millionen Charakterbeschreibungen und ca. 7,7 Milliarden Tokens, von denen 2,9 Milliarden charakterbezogene Informationen enthalten. Die Daten decken 36 Bundesstaaten und Unionsterritorien Indiens sowie 640 Distrikte ab und beinhalten ca. 560.000 eindeutige Namen. Sie liegen in drei Sprachversionen vor: Englisch, Devanagari und Latein, mit jeweils ca. 1 Million Einträgen. Dieser Datensatz basiert auf realen demografischen und geografischen Verteilungsdaten der indischen Volkszählung und der Wählerverzeichnisse von 2011. Alle Charaktere sind rein virtuell und entsprechen keinen realen Personendaten; Daten von Minderjährigen unter 18 Jahren wurden ebenfalls ausgeschlossen.
12. Nemotron-Personas-Belgium (Belgischer synthetischer menschlicher Datensatz)
* Online nutzen:
Nemotron-Personas-Belgium ist ein Datensatz synthetischer Personen aus Belgien, der 2026 von NVIDIA in Zusammenarbeit mit Pleias und der KU Leuven veröffentlicht wurde. Ziel ist es, die Vielfalt und die Merkmale der belgischen Bevölkerung umfassend abzubilden, vor allem um die Diversität souveräner KI-Synthesedaten zu erweitern, Daten- und Modellverzerrungen zu mindern und die Diversität der Modellantworten zu verbessern.
Dieser Datensatz umfasst 1,2 Millionen Einträge mit jeweils sechs virtuellen Charakterrollen, insgesamt etwa 1,8 Millionen Charakterbeschreibungen und rund 1,9 Milliarden Tokens, von denen 867 Millionen charakterbezogene Informationen enthalten. Die Daten decken 581 belgische Gemeinden und drei Verwaltungsbezirke ab und umfassen etwa 260.000 eindeutige Namen. Sie sind in vier Sprachen verfügbar: Niederländisch, Französisch, Deutsch und Englisch, mit jeweils 300.000 Einträgen pro Sprachversion. Der Datensatz basiert auf den belgischen Volkszählungsdaten von 2021 und den Bevölkerungsstrukturdaten von 2025. Alle Charaktere sind rein virtuell und entsprechen keinerlei realen Personendaten; Daten von Minderjährigen unter 18 Jahren wurden ebenfalls ausgeschlossen.
13. Nemotron-Personas-Vietnam: Ein Datensatz synthetischer vietnamesischer Personen.
* Online nutzen:
Nemotron-Personas-Vietnam ist ein Datensatz synthetischer Vietnamesen, der von NVIDIA im Jahr 2026 veröffentlicht wurde. Er zielt darauf ab, die Vielfalt und die Merkmale der vietnamesischen Bevölkerung umfassend widerzuspiegeln und wird hauptsächlich zur Unterstützung der Entwicklung von KI-Modellen für die vietnamesische Souveränität, zur Minderung von Datenverzerrungen und zur Verbesserung der Vielfalt der Modellantworten im vietnamesischen kulturellen Kontext verwendet.
Dieser Datensatz umfasst 100.000 Einträge mit jeweils sechs virtuellen Charakterrollen, insgesamt etwa 600.000 Charakterbeschreibungen und ca. 118 Millionen Tokens, von denen 52 Millionen charakterbezogene Informationen enthalten. Die Daten decken sechs zentral verwaltete Städte und Provinzen in Vietnam ab und beinhalten ca. 13.000 eindeutige Namen. Der Datensatz basiert auf offiziellen vietnamesischen Statistiken und dem von der FPT Group bereitgestellten lokalen Expertenwissen. Alle Charaktere sind rein virtuell und entsprechen keinerlei realen Personendaten; Daten von Minderjährigen unter 18 Jahren wurden ebenfalls ausgeschlossen.
14. Nemotron-Personas El Salvador (salvadorianischer synthetischer menschlicher Datensatz)
* Online nutzen:
Der 2026 von NVIDIA veröffentlichte Datensatz Nemotron-Personas-El Salvador ist ein Datensatz mit synthetischen Salvadorianern. Er zielt darauf ab, die Vielfalt und die Merkmale der salvadorianischen Bevölkerung umfassend abzubilden und dient primär der Entwicklung von KI-Modellen zur Stärkung der salvadorianischen Souveränität, der Reduzierung von Datenverzerrungen und der Verbesserung der Modellantworten im salvadorianischen Kulturkontext.
Dieser Datensatz umfasst 148.000 Einträge mit insgesamt etwa 1 Million Charakterbeschreibungen und ca. 300 Millionen Tokens, von denen 161 Millionen charakterbezogene Informationen enthalten. Die Daten decken 14 Provinzen und 44 Städte in El Salvador ab und beinhalten ca. 144.000 eindeutige Namen. Der Datensatz basiert auf realen demografischen, geografischen und berufsbezogenen Statistiken der siebten nationalen Volkszählung und der sechsten nationalen Wohnungszählung El Salvadors aus dem Jahr 2024. Alle Charaktere sind rein virtuell und entsprechen keinen realen Personendaten; Daten von Minderjährigen unter 18 Jahren wurden ebenfalls ausgeschlossen.
15. Nemotron-Personas Singapore (Singapur Synthetic Person Dataset)
* Online nutzen:
Nemotron-Personas-Singapore ist ein Datensatz synthetischer Personen aus Singapur, der 2026 von NVIDIA veröffentlicht wurde. Er soll die realen Bevölkerungs-, geografischen und Persönlichkeitsmerkmale Singapurs widerspiegeln. Hauptzweck ist die Unterstützung der Entwicklung souveräner KI-Systeme, die Erhöhung der Diversität synthetischer Daten, die Minderung von Modellverzerrungen und die Verhinderung von Modellzusammenbrüchen.
Dieser Datensatz umfasst 148.000 Einträge mit jeweils sechs virtuellen Charakterrollen, insgesamt 888.000 Charakterbeschreibungen und ca. 118 Millionen Tokens, von denen 48 Millionen charakterbezogene Informationen enthalten. Die Daten decken 55 Planungsgebiete in Singapur ab und beinhalten ca. 146.000 eindeutige Namen. Der Datensatz basiert auf der Volkszählung Singapurs von 2024, Namensautorisierungsdaten des National Library Board (NLB) und offiziellen Informationen des Housing & Development Board (CEA). Alle Charaktere sind rein virtuell und entsprechen keinerlei realen Personendaten; Daten von Minderjährigen unter 18 Jahren wurden ebenfalls ausgeschlossen.
