Nemotron-Pretraining-Specialized-v1.1 est un ensemble de données de pré-entraînement synthétique publié par NVIDIA en 2026, conçu spécifiquement pour la série de grands modèles de langage Nemotron 3, visant à améliorer les capacités du modèle dans des domaines tels que les concepts et algorithmes de programmation, la logique formelle, l'économie et les questions à choix multiples.

L'ensemble de données contient environ 19,77 millions d'échantillons, avec une taille totale d'environ 34,9 Go, au format Parquet, généré par plusieurs grands modèles de langage, et peut être utilisé pour le pré-entraînement des modèles et l'amélioration des capacités.

Composition de l'ensemble de données

L'ensemble de données comprend les cinq sous-ensembles suivants :

• Nemotron-Pretraining-Code-Concepts : contient des problèmes et solutions Python générés à partir de combinaisons de concepts de programmation, couvrant des sujets tels que les algorithmes, l'analyse de données et les structures de données.
• Nemotron-Pretraining-Unconditional-Algorithmic : contient des échantillons d'algorithmes Python sous diverses formes générés à partir d'invites courtes.
• Nemotron-Pretraining-Formal-Logic : contient des questions à choix multiples et réponses liées à la logique formelle, certains échantillons incluant des chaînes de pensée.
• Nemotron-Pretraining-Economics : contient des questions à choix multiples et réponses liées à l'économie, certains échantillons incluant des chaînes de pensée.
• Nemotron-Pretraining-Multiple-Choice : contient des questions à choix multiples multi-thèmes provenant de l'ensemble de données MMLU auxiliary_train.

Comprend les champs de données suivants :

• text : le contenu textuel utilisé pour le pré-entraînement.
• license : les informations de licence de l'échantillon.
• metadata : les métadonnées de l'échantillon, y compris la catégorie de données et le modèle de génération ; le sous-ensemble Code-Concepts inclut également les noms de fonctions, les étiquettes, les invites de questions et les solutions générées.
• uuid : l'identifiant unique de l'échantillon.

Citation

Lors de l'utilisation de cet ensemble de données pour des recherches, veuillez citer le rapport technique NVIDIA Nemotron 3 Super.