Nemotron VLM Dataset v2 是由 NVIDIA 于 2025 年发布的一个包含超过 900 万高质量多模态样本的数据集，旨在通过引入视频模态、增强链式思维推理数据以及提供 OCR 数据生成工具链，提升视觉语言模型在复杂图表、UI 理解及文档处理等方面的性能。

该数据集在 V1 版本 300 万样本的基础上，大幅扩展了数据规模与多样性，涵盖了 wiki 多语言文本、视觉指令微调、文档问答、图表分析、视频动作识别等多种子集。 其核心特点在于引入了视频理解任务，并提供了大量包含推理过程的链式思维（Chain-of-Thought）标注数据，帮助模型突破基准测试的性能瓶颈。 数据格式统一为 JSONL，包含图像、视频、音频及结构化文本消息，适配 Megatron Energon 多模态数据加载器，支持多语言文档理解与复杂视觉推理任务。

数据集组成

数据集包含 40 多个子数据集（configs），所有数据均采用 JSONL 格式存储，并划分为 train 分割。

• 多语言 Wiki 数据：涵盖德语（wiki_de）、英语（wiki_en）、西班牙语（wiki_es）、法语（wiki_fr）、意大利语（wiki_it）、日语（wiki_ja）、韩语（wiki_ko）、荷兰语（wiki_nl）、葡萄牙语（wiki_pt）和中文（wiki_zh）的 wiki 文本数据。
• 视觉与文档理解：包括 oi_bbox_3（物体检测边界框）、tabmwp_cot（数学问题推理）、sparsetables（稀疏表格）、mulberry_cot_1/2（多语言文档推理）、llava_cot_100k（LLaVA 指令微调）、geomverse_cot（几何推理）、mapqa_cot（地图问答）、plotqa_cot（图表问答）、visual7w_telling_cot、visual_web_instruct_cot（网页指令）、docvqa_cot（文档问答）、chartqa_cot（图表问答）、infographicsvqa_cot（信息图问答）、unigeo_cot、nights_cot、mantis_instruct_cot、fintabnet_cot（金融表格）、hiertext（高分辨率文本）。
• 视频理解：包括 nextqa（视频问答）、clevrer（视频推理）、ego_exo_learn（第一人称与外部视角学习）、kinetics_k710（动作识别）、perception_test_1/2、activity_net_1/2、hacs、hirest_1/2、youcook2_1/2、breakfast_actions（早餐动作识别）、ccpdf_multipage_1/2（多页 PDF）、perception_test_cot（视频感知推理）。