Nemotron VLM Dataset v2 は、NVIDIA により 2025 年に公開された、900 万を超える高品質なマルチモーダルサンプルを含むデータセットです。動画モダリティの導入、チェーン・オブ・スート（Chain-of-Thought）推論データの強化、および OCR データ生成ツールチェーンの提供を通じて、視覚言語モデルの複雑なチャート、UI 理解、文書処理などの性能向上を目的としています。

本データセットは、V1 バージョンの 300 万サンプルを基盤とし、データ規模と多様性を大幅に拡張し、Wiki 多言語テキスト、視覚指示チューニング、文書 QA、チャート分析、動画アクション認識など、複数のサブセットを網羅しています。 その核心的な特徴は、動画理解タスクの導入と、推論プロセスを含む大量のチェーン・オブ・スート（Chain-of-Thought）アノテーションデータの提供にあり、モデルがベンチマークテストの性能ボトルネックを突破するのに役立ちます。 データ形式は JSONL に統一され、画像、動画、音声、および構造化テキストメッセージを含み、Megatron Energon マルチモーダルデータローダーに対応し、多言語文書理解や複雑な視覚推論タスクをサポートします。

データセット構成

データセットは 40 以上のサブデータセット（configs）で構成され、すべてのデータは JSONL 形式で保存され、train スプリットに分割されています。

• 多言語 Wiki データ: 德语（wiki_de）、英语（wiki_en）、西班牙语（wiki_es）、法语（wiki_fr）、意大利语（wiki_it）、日语（wiki_ja）、韩语（wiki_ko）、荷兰语（wiki_nl）、葡萄牙语（wiki_pt）、および中文（wiki_zh）の Wiki テキストデータを網羅しています。
• 視覚および文書理解: oi_bbox_3（物体検出バウンディングボックス）、tabmwp_cot（数学的問題推論）、sparsetables（スパーステーブル）、mulberry_cot_1/2（多言語文書推論）、llava_cot_100k（LLaVA 指示チューニング）、geomverse_cot（幾何学推論）、mapqa_cot（地図 QA）、plotqa_cot（チャート QA）、visual7w_telling_cot、visual_web_instruct_cot（ウェブ指示）、docvqa_cot（文書 QA）、chartqa_cot（チャート QA）、infographicsvqa_cot（インフォグラフィック QA）、unigeo_cot、nights_cot、mantis_instruct_cot、fintabnet_cot（金融テーブル）、hiertext（高解像度テキスト）などを含みます。
• 動画理解: nextqa（動画 QA）、clevrer（動画推論）、ego_exo_learn（一人称視点および外部視点学習）、kinetics_k710（アクション認識）、perception_test_1/2、activity_net_1/2、hacs、hirest_1/2、youcook2_1/2、breakfast_actions（朝食アクション認識）、ccpdf_multipage_1/2（複数ページ PDF）、perception_test_cot（動画知覚推論）などを含みます。