Nemotron VLM Dataset v2는 NVIDIA가 2025년에 출시한 데이터셋으로, 9,000만 개 이상의 고품질 멀티모달 샘플을 포함하고 있습니다. 이 데이터셋은 비디오 모달리티 도입, 사고의 체인(Chain-of-Thought) 추론 데이터 강화, 그리고 OCR 데이터 생성 도구 체인 제공을 통해 복잡한 차트, UI 이해 및 문서 처리 등에서의 시각-언어 모델 성능을 향상시키는 것을 목표로 합니다.

이 데이터셋은 V1 버전의 300만 개 샘플을 기반으로 데이터 규모와 다양성을 대폭 확장하였으며, 위키 다국어 텍스트, 시각 지시 미세 조정, 문서 질문 답변, 차트 분석, 비디오 행동 인식 등 다양한 하위 집합을 포함합니다. 핵심 특징은 비디오 이해 작업을 도입하고, 추론 과정을 포함한 대규모의 사고의 체인(Chain-of-Thought) 라벨링 데이터를 제공하여 모델이 벤치마크 성능의 병목 현상을 돌파하도록 돕는 것입니다. 데이터 형식은 이미지, 비디오, 오디오 및 구조화된 텍스트 메시지를 포함하는 JSONL로 통일되어 있으며, Megatron Energon 멀티모달 데이터 로더와 호환되어 다국어 문서 이해 및 복잡한 시각 추론 작업을 지원합니다.

데이터셋 구성

데이터셋은 40개 이상의 하위 데이터셋(configs)으로 구성되어 있으며, 모든 데이터는 JSONL 형식으로 저장되고 train 분할로 구분됩니다.

• 다국어 위키 데이터: 독일어(wiki_de), 영어(wiki_en), 스페인어(wiki_es), 프랑스어(wiki_fr), 이탈리아어(wiki_it), 일본어(wiki_ja), 한국어(wiki_ko), 네덜란드어(wiki_nl), 포르투갈어(wiki_pt) 및 중국어(wiki_zh)의 위키 텍스트 데이터를 포함합니다.
• 시각 및 문서 이해: oi_bbox_3(물체 검출 경계 상자), tabmwp_cot(수학 문제 추론), sparsetables(희소 테이블), mulberry_cot_1/2(다국어 문서 추론), llava_cot_100k(LLaVA 지시 미세 조정), geomverse_cot(기하 추론), mapqa_cot(지도 질문 답변), plotqa_cot(차트 질문 답변), visual7w_telling_cot, visual_web_instruct_cot(웹 지시), docvqa_cot(문서 질문 답변), chartqa_cot(차트 질문 답변), infographicsvqa_cot(인포그래픽 질문 답변), unigeo_cot, nights_cot, mantis_instruct_cot, fintabnet_cot(금융 테이블), hiertext(고해상도 텍스트)을 포함합니다.
• 비디오 이해: nextqa(비디오 질문 답변), clevrer(비디오 추론), ego_exo_learn(1인칭 및 외부 관점 학습), kinetics_k710(행동 인식), perception_test_1/2, activity_net_1/2, hacs, hirest_1/2, youcook2_1/2, breakfast_actions(아침 식사 행동 인식), ccpdf_multipage_1/2(다중 페이지 PDF), perception_test_cot(비디오 지각 추론)을 포함합니다.