Command Palette
Search for a command to run...
Résumé Du Jeu De Données | NVIDIA Open Sources Nemotron : Plus De 10 To De Jetons + 40 millions D’échantillons D’entraînement, Couvrant Le Raisonnement Mathématique, La Génération De Code Et Le Dialogue multilingue.
Les données d'entraînement deviennent un facteur clé dans la compétition pour les grands modèles. Lorsque le nombre de paramètres n'est plus le seul obstacle, la qualité, la structure et l'adéquation des données à la tâche commencent à déterminer les performances réelles du modèle, notamment en matière d'inférence, de code et d'interaction.
La série de jeux de données Nemotron de NVIDIA est un système de ressources de données conçu pour répondre à cette tendance. Elle contient plus de 10 To de jetons et 40 millions d'échantillons post-entraînement, couvrant l'intégralité du cycle de vie de l'entraînement, du modèle de base au flux de travail de l'agent.Contrairement aux données de pré-entraînement traditionnelles qui se concentrent uniquement sur l'échelle, la série Nemotron met l'accent sur une couverture ciblée des différentes dimensions de capacité, chaque ensemble de données correspondant à un aspect spécifique de la construction des capacités du modèle.
Cet article compile 15 ensembles de données Nemotron, couvrant plusieurs capacités essentielles dans l'entraînement actuel des modèles à grande échelle :Pré-entraînement général du texte, ajustement fin supervisé (SFT), génération de code, raisonnement mathématique et données de dialogue multilingues Persona.Il fournit un support de données systématique pour le modèle, allant de la construction des capacités de base à l'optimisation des capacités liées aux tâches.
La philosophie de conception de ces jeux de données révèle un changement net : l’entraînement de modèles à grande échelle évolue de « l’entraînement de modèles plus performants avec plus de données » vers « l’entraînement de modèles plus adaptés avec des données plus précises ». L’approche adoptée par la série Nemotron illustre parfaitement cette tendance. Autrement dit, la capacité à concevoir des données d’entraînement devient un facteur déterminant pour les performances maximales d’un modèle.
Les ensembles de données suivants ont tous été inclus dans HyperAI (hyper.ai), et nous espérons fournir une ressource de données de référence systématique aux chercheurs et aux développeurs de grands modèles.
Des ensembles de données de meilleure qualité :
Recommandation de jeu de données
1. Ensemble de données pré-entraîné Nemotron-CC-v2
* Utilisation en ligne :
Nemotron-CC-v2 est le successeur de Nemotron-CC, publié par NVIDIA en 2025. L'article associé s'intitule « NVIDIA Nemotron Nano 2 : un modèle de raisonnement hybride Mamba-Transformer précis et efficace ».
Cet ensemble de données s'appuie sur le corpus web anglais existant en ajoutant huit instantanés Common Crawl de 2024-2025, en effectuant une déduplication globale et un filtrage anglais. Il utilise également Qwen3-30B-A3B pour synthétiser et reformuler le contenu web, complété par des questions-réponses diversifiées (AQ diversifiée), et traduit en 15 langues afin d'améliorer le raisonnement logique multilingue et la préformation des connaissances générales. Son importance réside dans l'amélioration de l'approche efficace « pages web anglaises de haute qualité → AQ diversifiée synthétisée », en combinant une exploration web actualisée et une expansion multilingue dans une approche systématique. Grâce à une déduplication, un filtrage et une distribution reproductible rigoureux, il facilite l'intégration directe dans divers pipelines de préformation.
2. Ensemble de données Nemotron-Pretraining-SFT pour l'ajustement fin supervisé
* Utilisation en ligne :
Nemotron-Pretraining-SFT-v1 est un ensemble de données génératives synthétiques publié par NVIDIA en 2025. L'article associé est « NVIDIA Nemotron Nano 2 : un modèle de raisonnement hybride Mamba-Transformer précis et efficace », qui vise à améliorer les capacités du modèle dans des tâches telles que le suivi des instructions, le raisonnement, le code et la réponse aux questions générales.
Ce jeu de données est conçu pour les domaines des sciences, des technologies, de l'ingénierie et des mathématiques (STEM), l'enseignement supérieur, le raisonnement logique et les contextes multilingues. Il est constitué de ressources mathématiques et scientifiques de haute qualité et combine des textes universitaires de niveau master avec des données SFT finement paramétrées afin de construire des questions complexes à choix multiples et des questions analytiques (incluant des solutions/approches complètes), couvrant diverses tâches telles que les mathématiques, la programmation, la culture générale et le raisonnement logique. Dans les statistiques officielles des données de pré-entraînement de Nemotron, les catégories liées aux SFT (telles que SFT Mathématiques, SFT Programmation et SFT Général) représentent une part importante, ce qui permet aux utilisateurs de filtrer facilement les sous-ensembles nécessaires en fonction des métadonnées pour des expériences reproductibles.
3. Ensemble de données Nemotron-Pretraining-Code
* Utilisation en ligne :
Nemotron-Pretraining-Code-v1 est un ensemble de données de code à grande échelle soigneusement sélectionnées, construit sur GitHub et publié par NVIDIA en 2025. L'article associé s'intitule « NVIDIA Nemotron Nano 2 : un modèle de raisonnement hybride Mamba-Transformer précis et efficace ».
Cet ensemble de données, filtré par déduplication en plusieurs étapes, application des licences et contrôles de qualité heuristiques, contient des paires question-réponse de code générées par LLM pour 11 langages de programmation. Outre 175,1 milliards de jetons de code synthétisés de haute qualité, les données incluent également des métadonnées (environ 747,4 milliards de jetons) afin de faciliter la reproduction par l'utilisateur.
4. Jeu de données de pré-entraînement Nemotron-Pretraining-Code
* Utilisation en ligne :
Nemotron-Pretraining-Code-v3 est l'un des jeux de données de pré-entraînement de code créés par NVIDIA pour la série de modèles de langage Nemotron 3. Il vise à améliorer les capacités de compréhension, de génération, de complétion et de raisonnement du code des modèles de langage. Ce jeu de données fait partie du corpus de code de la série de données de pré-entraînement NVIDIA Nemotron. L'article associé est intitulé « Nemotron 3 Ultra : Modèle hybride Mamba-Transformer ouvert et efficace, basé sur un mélange d'experts, pour le raisonnement agentique ».
Cet ensemble de données contient 146,3 millions de fichiers. La collecte des données s'est terminée le 30 septembre 2025. Il s'agit d'une version incrémentale, incluant uniquement les fichiers de code source ajoutés à cette série par rapport aux versions précédentes. Il doit être utilisé conjointement avec les versions 1 et 2 pour constituer un corpus complet de pré-entraînement.
5. Ensemble de données de pré-entraînement mathématique Nemotron-CC-Math
* Utilisation en ligne :
Nemotron-CC-Math est un ensemble de données pré-entraîné de grande envergure et de haute qualité, axé sur les mathématiques, publié par NVIDIA et l'Université de Boston en 2025. L'article associé s'intitule « Nemotron-CC-Math : un ensemble de données de pré-entraînement mathématique de haute qualité de 133 milliards de jetons ». Son objectif est de préserver et de mettre en valeur un contenu mathématique et de code de grande valeur, contribuant ainsi à l'émergence de la prochaine génération de modèles de langage intelligents et performants à l'échelle mondiale.
Cet ensemble de données contient 133 milliards de jetons et a été constitué à partir de Common Crawl grâce à un pipeline d'extraction et de normalisation basé sur NVIDIA Lynx et un LLM léger. Tout en préservant la structure des équations et du code, il unifie le contenu mathématique dans un format LaTeX modifiable, atteignant ainsi, pour la première fois à l'échelle du web, la couverture de multiples formats mathématiques (y compris les formats de niche). Ses avantages ont été validés par plusieurs tests de performance.
6. Nemotron-Personas-Corée (ensemble de données d'humains synthétiques coréens)
* Utilisation en ligne :
Nemotron-Personas-Korea est un ensemble de données de personnages coréens synthétiques publié par NVIDIA en 2026, conçu pour refléter fidèlement la diversité et les caractéristiques de la population coréenne. Premier ensemble de données à grande échelle de personnages coréens synthétiques, il est principalement utilisé pour enrichir les données synthétiques de Sovereign AI, atténuer les biais des données et des modèles, et améliorer la diversité des réponses de ces derniers.
Cet ensemble de données contient un million d'enregistrements, chacun comportant sept caractères virtuels, soit environ sept millions de descriptions de caractères et près de 1,7 milliard de jetons, dont un milliard est associé aux caractères. Les données couvrent 17 régions autonomes métropolitaines (시도) et 252 villes/districts (시군区) de Corée du Sud, et comprennent 209 167 noms uniques. Cet ensemble de données a été généré à partir d'informations officielles fournies par le Service coréen d'information statistique (KOSIS), la Cour suprême de Corée, la Caisse nationale d'assurance maladie, l'Institut coréen de recherche sur l'économie rurale et NAVER Cloud. Tous les caractères sont entièrement virtuels et ne correspondent à aucune information d'identité personnelle réelle ; les données relatives aux mineurs de moins de 19 ans ont également été exclues.
7. Nemotron Personas France (ensemble de données de personnes synthétiques françaises)
* Utilisation en ligne :
Nemotron Personas France est un ensemble de données de personnages synthétiques français, publié en 2026 par NVIDIA en collaboration avec Pleias. Il contient des données de personnages synthétiques générées à partir de données démographiques, géographiques et de traits de personnalité réels de la France. L'objectif est de fournir des données de personnages synthétiques diversifiées afin de faciliter le développement de modèles en reflétant la répartition géographique et démographique de la France.
Cet ensemble de données contient 6 000 000 d'individus français, répartis dans 1 000 000 d'enregistrements. Chaque enregistrement comporte 22 champs (nom, sexe, âge, situation matrimoniale, profession, etc.) et inclut différents types de personnes (universitaires, sportifs, amateurs d'art, gastronomes, voyageurs, etc.).
8.Nemotron-Personas-Brazil Ensemble de données de caractères synthétiques brésiliens
* Utilisation en ligne :
Nemotron-Personas-Brazil est un ensemble de données de personnages synthétiques pour le Brésil, publié en 2026 par NVIDIA en collaboration avec WideLabs. Il vise à illustrer la diversité et la richesse de la population brésilienne afin de refléter plus fidèlement la répartition multidimensionnelle potentielle de cette population, notamment la diversité régionale (comme le Nord, le Nord-Est et le Centre-Ouest), l'origine ethnique, le niveau d'éducation et la répartition professionnelle.
Cet ensemble de données contient un million d'enregistrements, chacun composé de six caractères. Chaque enregistrement comprend six champs de caractères et quatorze champs contextuels, construits statistiquement à partir de la structure démographique officielle et de la répartition du marché du travail du Brésil. Les données couvrent la répartition géographique et démographique des 26 États et du District fédéral du Brésil.
9.Ensemble de données de personnalités Nemotron Personas USA (États-Unis)
* Utilisation en ligne :
Nemotron-Personas-USA est un vaste ensemble de données de profils d'utilisateurs synthétiques, publié par NVIDIA en 2025. Il vise à faciliter l'entraînement et l'évaluation des grands modèles de langage (LLM) et des systèmes d'agents intelligents pour des tâches telles que la génération de dialogues, la simulation de personas, la modélisation d'utilisateurs et l'analyse de comportements variés. Cet ensemble de données contient environ un million d'enregistrements de personnes virtuelles, soit six millions de champs de persona et seize champs d'informations contextuelles. Il couvre les 50 États américains, ainsi que Porto Rico et les Îles Vierges, et englobe 29 000 codes postaux (ZCTA) et 15 200 villes et régions, offrant ainsi une représentation relativement complète de la répartition géographique et sociale de la population américaine.
L'ensemble de données contient environ 970 000 noms uniques et couvre plus de 560 catégories professionnelles. La répartition des professions s'appuie sur des statistiques professionnelles réelles, garantissant ainsi une bonne représentativité sociale. Chaque donnée est composée de champs multidimensionnels, incluant des informations démographiques structurées telles que l'âge, le sexe, le niveau d'études, le revenu, la profession et le lieu de résidence, ainsi que des descriptions de profils en langage naturel (intérêts, valeurs, mode de vie et objectifs personnels), formant ainsi une représentation composite qui combine informations structurées et texte non structuré.
10. Nemotron-Personas-Japan : Un ensemble de données de figures humaines synthétiques japonaises.
* Utilisation en ligne :
Nemotron-Personas-Japan est un ensemble de données de figures humaines synthétiques publié par NVIDIA en 2025. Il vise à mettre en valeur la diversité et la richesse de la population japonaise et est principalement utilisé pour soutenir le développement de systèmes d'IA souverains, l'entraînement de grands modèles de langage et pour réduire les biais dans les données synthétiques.
Cet ensemble de données contient un million d'enregistrements, chacun comportant six personnages virtuels, soit environ six millions de descriptions de personnages et près de 1,4 milliard de jetons, dont 850 millions sont liés aux personnages. Les données couvrent les 47 préfectures du Japon, plus de 1 500 catégories professionnelles et plus de 950 000 noms uniques. Cet ensemble de données a été généré à partir de données démographiques, de répartition géographique et de distribution des traits de personnalité officiels japonais. Tous les personnages sont entièrement virtuels et ne correspondent à aucune information d'identité réelle. Les données concernant les mineurs de moins de 18 ans ont également été exclues.
11. Nemotron-Personas-India : un ensemble de données de figures humaines synthétiques de l'Inde.
* Utilisation en ligne :
Nemotron-Personas-India est un ensemble de données humaines synthétiques pour l'Inde, publié par NVIDIA en 2025. Il vise à améliorer la diversité des données synthétiques, à réduire les biais des modèles et à prévenir leur effondrement en reflétant la répartition géographique et démographique réelle de l'Inde. Il est principalement utilisé pour aider les développeurs de modèles indiens à concevoir des systèmes d'IA souverains capables d'intégrer des caractéristiques démographiques et culturelles spécifiques à la région.
Cet ensemble de données contient 3 millions d'enregistrements, chacun comportant 7 rôles de personnages virtuels, soit environ 21 millions de descriptions de personnages et quelque 7,7 milliards d'éléments, dont 2,9 milliards d'informations relatives aux personnages. Les données couvrent 36 États et territoires de l'Union indienne, 640 districts et comprennent environ 560 000 noms uniques. Elles sont disponibles en trois langues : anglais, devanagari et latin, avec environ 1 million d'enregistrements dans chaque version. Cet ensemble de données est basé sur des informations démographiques et géographiques réelles issues du recensement indien de 2011 et des listes électorales. Tous les personnages sont entièrement virtuels et ne correspondent à aucune information d'identité personnelle réelle ; les données relatives aux mineurs de moins de 18 ans ont également été exclues.
12. Nemotron-Personas-Belgium (ensemble de données humaines synthétiques belges)
* Utilisation en ligne :
Nemotron-Personas-Belgium est un ensemble de données de personnages synthétiques belges, publié en 2026 par NVIDIA en collaboration avec Pleias et la KU Leuven. Il vise à refléter fidèlement la diversité et les caractéristiques de la population belge, principalement pour accroître la diversité des données synthétiques pour l'IA souveraine, atténuer les biais des données et des modèles, et améliorer la diversité des réponses des modèles.
Cet ensemble de données contient 1,2 million d'enregistrements, chacun comportant 6 rôles de personnages virtuels, soit environ 1,8 million de descriptions de personnages et près de 1,9 milliard de jetons, dont 867 millions d'informations relatives aux personnages. Les données couvrent 581 communes belges et 3 districts administratifs, et comprennent environ 260 000 noms uniques. Elles sont disponibles en quatre langues : néerlandais, français, allemand et anglais, avec 300 000 enregistrements dans chaque version linguistique. Cet ensemble de données est basé sur les données du recensement belge de 2021 et les données démographiques de 2025. Tous les personnages sont entièrement virtuels et ne correspondent à aucune information d'identité personnelle réelle ; les données relatives aux mineurs de moins de 18 ans ont également été exclues.
13. Nemotron-Personas-Vietnam : Un ensemble de données de personnes vietnamiennes synthétisées.
* Utilisation en ligne :
Nemotron-Personas-Vietnam est un ensemble de données de personnages vietnamiens synthétiques publié par NVIDIA en 2026. Il vise à refléter de manière exhaustive la diversité et les caractéristiques de la population vietnamienne et est principalement utilisé pour soutenir le développement de modèles d'IA pour la souveraineté vietnamienne, atténuer les biais des données et améliorer la diversité des réponses du modèle dans le contexte culturel vietnamien.
Cet ensemble de données contient 100 000 enregistrements, chacun comportant 6 rôles de personnages virtuels, soit environ 600 000 descriptions de personnages et quelque 118 millions d'éléments, dont 52 millions d'informations relatives aux personnages. Les données couvrent 6 municipalités et provinces administrées par le gouvernement central du Vietnam et incluent environ 13 000 noms uniques. Cet ensemble de données a été généré à partir de statistiques officielles vietnamiennes et de l'expertise locale du groupe FPT. Tous les personnages sont entièrement virtuels et ne correspondent à aucune information d'identité personnelle réelle ; les données concernant les mineurs de moins de 18 ans ont également été exclues.
14. Nemotron-Personas El Salvador (ensemble de données humaines synthétiques salvadoriennes)
* Utilisation en ligne :
Le jeu de données Nemotron-Personas-El Salvador, publié par NVIDIA en 2026, est un ensemble de données de personnages synthétiques salvadoriens. Il vise à refléter fidèlement la diversité et les caractéristiques de la population salvadorienne et est principalement utilisé pour soutenir le développement de modèles d'IA pour la souveraineté du Salvador, atténuer les biais dans les données et améliorer la diversité des réponses des modèles dans le contexte culturel salvadorien.
Cet ensemble de données contient 148 000 enregistrements, soit environ un million de descriptions de personnages et près de 300 millions d'éléments, dont 161 millions d'informations relatives aux personnages. Les données couvrent 14 provinces et 44 villes du Salvador et comprennent environ 144 000 noms uniques. Cet ensemble de données est basé sur des statistiques démographiques, géographiques et professionnelles réelles issues du septième recensement national de la population et du sixième recensement national du logement du Salvador, réalisés en 2024. Tous les personnages sont entièrement virtuels et ne correspondent à aucune information d'identité personnelle réelle ; les données concernant les mineurs de moins de 18 ans ont également été exclues.
15. Nemotron-Personas Singapour (Ensemble de données de personnes synthétiques de Singapour)
* Utilisation en ligne :
Nemotron-Personas-Singapore est un ensemble de données de personnages synthétiques de Singapour, publié par NVIDIA en 2026. Il vise à refléter les caractéristiques démographiques, géographiques et de personnalité réelles de Singapour. Son objectif principal est de soutenir le développement de systèmes d'IA souverains, d'accroître la diversité des données synthétiques, d'atténuer les biais des modèles et de prévenir leur effondrement.
Cet ensemble de données contient 148 000 enregistrements, chacun comportant 6 rôles de personnages virtuels, soit un total de 888 000 descriptions de personnages et environ 118 millions d'éléments, dont 48 millions d'informations relatives aux personnages. Les données couvrent 55 zones d'aménagement à Singapour et incluent environ 146 000 noms uniques. Cet ensemble de données a été généré à partir du recensement de Singapour de 2024, des données d'autorisation de noms de la Bibliothèque nationale (NLB) et des informations officielles fournies par le Conseil du logement et du développement (CEA). Tous les personnages sont entièrement virtuels et ne correspondent à aucune information d'identité personnelle réelle ; les données concernant les mineurs de moins de 18 ans ont également été exclues.
