Nemotron VLM Dataset v2 est un ensemble de données publié par NVIDIA en 2025, contenant plus de 9 millions d'échantillons multimodaux de haute qualité. Il vise à améliorer les performances des modèles de vision-langage dans des domaines tels que l'interprétation de graphiques complexes, la compréhension des interfaces utilisateur et le traitement de documents, grâce à l'introduction de la modalité vidéo, au renforcement des données de raisonnement en chaîne de pensée (Chain-of-Thought) et à la fourniture d'une chaîne d'outils de génération de données OCR.

Cet ensemble de données élargit considérablement l'échelle et la diversité des données par rapport à la version V1 qui comptait 3 millions d'échantillons. Il couvre divers sous-ensembles tels que les textes multilingues de Wikipédia, l'affinage d'instructions visuelles, les questions-réponses sur documents, l'analyse de graphiques et la reconnaissance d'actions vidéo. Sa caractéristique principale réside dans l'introduction de tâches de compréhension vidéo et la fourniture d'un grand volume de données annotées en chaîne de pensée (Chain-of-Thought) incluant le processus de raisonnement, aidant ainsi les modèles à dépasser les plafonds de performance des tests de référence. Le format des données est uniformisé en JSONL, incluant des images, des vidéos, de l'audio et des messages textuels structurés. Il est compatible avec le chargeur de données multimodales Megatron Energon, prenant en charge la compréhension de documents multilingues et les tâches complexes de raisonnement visuel.

Composition de l'ensemble de données

L'ensemble de données comprend plus de 40 sous-ensembles de données (configurations). Toutes les données sont stockées au format JSONL et divisées en un ensemble d'entraînement (train).

• Données multilingues Wikipédia : couvrant les données textuelles de Wikipédia en allemand (wiki_de), anglais (wiki_en), espagnol (wiki_es), français (wiki_fr), italien (wiki_it), japonais (wiki_ja), coréen (wiki_ko), néerlandais (wiki_nl), portugais (wiki_pt) et chinois (wiki_zh).
• Compréhension visuelle et documentaire : incluant oi_bbox_3 (boîtes englobantes pour la détection d'objets), tabmwp_cot (raisonnement de problèmes mathématiques), sparsetables (tableaux clairsemés), mulberry_cot_1/2 (raisonnement sur documents multilingues), llava_cot_100k (affinage d'instructions LLaVA), geomverse_cot (raisonnement géométrique), mapqa_cot (questions-réponses sur cartes), plotqa_cot (questions-réponses sur graphiques), visual7w_telling_cot, visual_web_instruct_cot (instructions web), docvqa_cot (questions-réponses sur documents), chartqa_cot (questions-réponses sur graphiques), infographicsvqa_cot (questions-réponses sur infographies), unigeo_cot, nights_cot, mantis_instruct_cot, fintabnet_cot (tableaux financiers) et hiertext (texte haute résolution).
• Compréhension vidéo : incluant nextqa (questions-réponses vidéo), clevrer (raisonnement vidéo), ego_exo_learn (apprentissage en vue égocentrique et exocentrique), kinetics_k710 (reconnaissance d'actions), perception_test_1/2, activity_net_1/2, hacs, hirest_1/2, youcook2_1/2, breakfast_actions (reconnaissance d'actions petit-déjeuner), ccpdf_multipage_1/2 (PDF multipage) et perception_test_cot (raisonnement perceptif vidéo).