زيبرا-كوت: مجموعة بيانات للاستدلال اللغوي البصري المختلط

غالبًا ما يستخدم البشر أدوات مرئية، مثل الرسوم البيانية أو الرسومات، عند حل المشكلات المعقدة. وتدريب النماذج متعددة الوسائط على القيام بذلك، والمعروف باسم "سلسلة التفكير المرئي" (Visual Chain of Thought)، يُعد تحديًا بسبب: (1) أداء سلسلة التفكير المرئي غير الكافي في النماذج الجاهزة، مما يعيق التعلم المعزز؛ و(2) نقص بيانات التدريب ذات الجودة العالية الخاصة بسلسلة التفكير المرئي. نقدم "Zebra-CoT"، مجموعة بيانات متنوعة وواسعة النطاق تحتوي على 182,384 عينة، وتشمل سلسلة استدلال نصية-مرئية منطقية ومتداخلة. نركز على أربع فئات من المهام حيث يكون الرسم أو الاستدلال المرئي طبيعيًا بشكل خاص، تشمل أسئلة علمية مثل الهندسة والفيزياء والخوارزميات؛ مهام استدلال مرئي ثنائية الأبعاد مثل البحث المرئي وألغاز القطع؛ مهام استدلال ثلاثية الأبعاد تتضمن الاستنتاج متعدد الخطوات في الفضاء ثلاثي الأبعاد، والبرمجة المُدمجة والروبوتات؛ بالإضافة إلى المشكلات المنطقية المرئية والألعاب الاستراتيجية مثل الشطرنج. يؤدي تدريب نموذج Anole-7B على مجموعة بيانات Zebra-CoT إلى تحسين في دقة مجموعة اختبارنا بنسبة +12%، ويحقق حتى +13% من تحسين الأداء في تقييمات معايير النماذج متعددة الوسائط (VLM). كما أن تدريب نموذج Bagel-7B ينتج نموذجًا يُنتج سلسلة استدلال مرئية ذات جودة عالية، مما يؤكد فعالية Zebra-CoT في تطوير القدرة على الاستدلال متعدد الوسائط. نحن نُطلق بياناتنا ونماذجنا مفتوحة المصدر لدعم تطوير وتقدير سلسلة التفكير المرئي.