Nemotron VLM Dataset v2 ist ein von NVIDIA im Jahr 2025 veröffentlichter Datensatz, der über 9 Millionen hochwertige multimodale Beispiele umfasst. Ziel ist es, die Leistung von Vision-Language-Modellen bei der Verarbeitung komplexer Diagramme, dem UI-Verständnis und der Dokumentenverarbeitung zu verbessern, indem die Videomodalität eingeführt, Daten für das Chain-of-Thought-Reasoning erweitert und eine Toolchain zur Erstellung von OCR-Daten bereitgestellt werden.

Dieser Datensatz erweitert die Datenmenge und -vielfalt im Vergleich zur Version 1 mit 3 Millionen Beispielen erheblich und umfasst verschiedene Teilmengen wie mehrsprachige Wiki-Texte, visuelles Instruction-Tuning, Dokumenten-QA, Diagrammanalyse und Video-Aktionserkennung. Das Kernmerkmal liegt in der Einführung von Video-Verstehensaufgaben sowie der Bereitstellung umfangreicher Chain-of-Thought-annotierter Daten, die den Reasoning-Prozess abbilden, um Leistungsgrenzen bei Benchmark-Tests zu überwinden. Das Datenformat ist einheitlich als JSONL definiert und enthält Bilder, Videos, Audio sowie strukturierte Textnachrichten. Es ist mit dem Megatron-Energon-Multimodal-Datenloader kompatibel und unterstützt mehrsprachiges Dokumentenverständnis sowie komplexe visuelle Reasoning-Aufgaben.

Zusammensetzung des Datensatzes

Der Datensatz besteht aus über 40 Teilmengen (Konfigurationen). Alle Daten werden im JSONL-Format gespeichert und sind in einen Train-Split unterteilt.

• Mehrsprachige Wiki-Daten: Umfassen Wiki-Textdaten in Deutsch (wiki_de), Englisch (wiki_en), Spanisch (wiki_es), Französisch (wiki_fr), Italienisch (wiki_it), Japanisch (wiki_ja), Koreanisch (wiki_ko), Niederländisch (wiki_nl), Portugiesisch (wiki_pt) und Chinesisch (wiki_zh).
• Visuelles und Dokumenten-Verständnis: Beinhaltet oi_bbox_3 (Objekterkennung mit Begrenzungsrahmen), tabmwp_cot (Mathematik-Reasoning), sparsetables (Spärliche Tabellen), mulberry_cot_1/2 (Mehrsprachiges Dokumenten-Reasoning), llava_cot_100k (LLaVA-Instruction-Tuning), geomverse_cot (Geometrie-Reasoning), mapqa_cot (Karten-QA), plotqa_cot (Diagramm-QA), visual7w_telling_cot, visual_web_instruct_cot (Web-Instructions), docvqa_cot (Dokumenten-QA), chartqa_cot (Diagramm-QA), infographicsvqa_cot (Infografik-QA), unigeo_cot, nights_cot, mantis_instruct_cot, fintabnet_cot (Finanztabellen) und hiertext (Hochauflösender Text).
• Video-Verständnis: Beinhaltet nextqa (Video-QA), clevrer (Video-Reasoning), ego_exo_learn (Ego- und Exo-Perspektiven-Lernen), kinetics_k710 (Aktionserkennung), perception_test_1/2, activity_net_1/2, hacs, hirest_1/2, youcook2_1/2, breakfast_actions (Frühstücks-Aktionserkennung), ccpdf_multipage_1/2 (Mehrsseitige PDFs) und perception_test_cot (Wahrnehmungs-Reasoning für Videos).