تُعد مجموعة بيانات Nemotron VLM الإصدار الثاني (v2) مجموعة بيانات تضم أكثر من 9 ملايين عينة متعددة الوسائط عالية الجودة، أصدرتها شركة NVIDIA في عام 2025، وتهدف إلى تحسين أداء نماذج اللغة والرؤية في مجالات مثل فهم الرسوم البيانية المعقدة، وفهم واجهات المستخدم، ومعالجة المستندات، وذلك من خلال إدخال وسائط الفيديو، وتعزيز بيانات الاستنتاج التسلسلي (Chain-of-Thought)، وتوفير سلسلة أدوات لتوليد بيانات التعرف الضوئي على الحروف (OCR).

وسعت هذه المجموعة بشكل كبير من حجم البيانات وتنوعها بناءً على الإصدار الأول الذي كان يضم 3 ملايين عينة، وتشمل مجموعات فرعية متعددة مثل نصوص ويكي متعددة اللغات، وضبط التعليمات البصرية، والإجابة عن أسئلة المستندات، وتحليل الرسوم البيانية، والتعرف على الإجراءات في الفيديو. وتتميز أساساً بإدراج مهام فهم الفيديو، وتوفير كميات كبيرة من البيانات المعلّمة بأسلوب الاستنتاج التسلسلي (Chain-of-Thought) التي تتضمن عمليات الاستنتاج، مما يساعد النماذج على تجاوز اختناقات الأداء في الاختبارات المعيارية. يتم توحيد تنسيق البيانات في ملف JSONL، ويتضمن صوراً ومقاطع فيديو وملفات صوتية ورسائل نصية منظمة، وهو متوافق مع محمل البيانات متعددة الوسائط Megatron Energon، ويدعم فهم المستندات متعددة اللغات ومهام الاستنتاج البصري المعقدة.

تكوين مجموعة البيانات

تضم المجموعة أكثر من 40 مجموعة بيانات فرعية (configs)، حيث يتم تخزين جميع البيانات بتنسيق JSONL، ومقسمة إلى جزء للتدريب (train).

• بيانات ويكي متعددة اللغات: تشمل بيانات نصوص ويكي بالألمانية (wiki_de)، والإنجليزية (wiki_en)، والإسبانية (wiki_es)، والفرنسية (wiki_fr)، والإيطالية (wiki_it)، واليابانية (wiki_ja)، والكورية (wiki_ko)، والهولندية (wiki_nl)، والبرتغالية (wiki_pt)، والصينية (wiki_zh).
• فهم المرئيات والمستندات: تشمل oi_bbox_3 (مربعات الحدود لكشف الكائنات)، وtabmwp_cot (استنتاج مسائل الرياضيات)، وsparsetables (الجداول المتناثرة)، وmulberry_cot_1/2 (استنتاج المستندات متعددة اللغات)، وllava_cot_100k (ضبط تعليمات LLaVA)، وgeomverse_cot (استنتاج الهندسة)، وmapqa_cot (الأسئلة والأجوبة حول الخرائط)، وplotqa_cot (الأسئلة والأجوبة حول الرسوم البيانية)، وvisual7w_telling_cot، وvisual_web_instruct_cot (تعليمات الويب البصرية)، وdocvqa_cot (الأسئلة والأجوبة حول المستندات)، وchartqa_cot (الأسئلة والأجوبة حول الرسوم البيانية)، وinfographicsvqa_cot (الأسئلة والأجوبة حول الرسوم المعلوماتية)، وunigeo_cot، وnights_cot، وmantis_instruct_cot، وfintabnet_cot (الجداول المالية)، وhiertext (النصوص عالية الدقة).
• فهم الفيديو: تشمل nextqa (الأسئلة والأجوبة حول الفيديو)، وclevrer (الاستنتاج البصري في الفيديو)، وego_exo_learn (التعلم من المنظور الذاتي والمنظور الخارجي)، وkinetics_k710 (التعرف على الإجراءات)، وperception_test_1/2، وactivity_net_1/2، وhacs، وhirest_1/2، وyoucook2_1/2، وbreakfast_actions (التعرف على إجراءات الفطور)، وccpdf_multipage_1/2 (ملفات PDF متعددة الصفحات)، وperception_test_cot (استنتاج الإدراك البصري في الفيديو).