الملخص

أظهرت التطورات الحديثة في نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) إمكانات كبيرة في فهم الفيديو. ومع ذلك، تفتقر المعايير الحالية إلى تقييم شامل لقدرات التفكير التآزري بين الوسائط الصوتية والبصرية، حيث تتجاهل غالبًا إحدى الوسائط أو تدمجها بطريقة منطقية غير متسقة. لسد هذه الفجوة، نقدّم "OmniVideoBench"، وهو معيار واسع النطاق ومصمم بدقة، مخصص لتقييم فهم الصوت والصورة التآزري، مع التركيز القوي على تكامل الوسائط والاتساق المنطقي. ويتكون OmniVideoBench من 1000 زوج من الأسئلة والإجابات (QA) عالية الجودة، كل منها مُعلّق بمسار تفكير خطوة بخطوة، مستمد من 628 فيديو متنوعة تمتد مدتها من بضع ثوانٍ إلى 30 دقيقة، وتم التحقق يدويًا منها لضمان الدقة الكاملة والتمايز الفريد. علاوةً على ذلك، يشمل OmniVideoBench 13 نوعًا من الأسئلة مصممة بعناية، تغطي التفكير الزمني، والتحديد المكاني، والعد، والاستنتاج السببي، وتلخيص المحتوى، وغيرها، مما يعكس التحديات الجوهرية لفهم الفيديو. أظهرت تقييمات عدة نماذج MLLMs على OmniVideoBench فجوة واضحة بين أداء النماذج وتفكير البشر، حيث تُظهر النماذج المفتوحة المصدر تأخرًا كبيرًا مقارنة بنظيراتها المغلقة المصدر، مما يبرز الصعوبة الجوهرية للتفكير الحقيقي متعدد الوسائط. وسوف نُطلق معيار OmniVideoBench لتشجيع تطوير نماذج MLLMs ذات قدرات تفكير أقوى وأكثر قابلية للتطبيق العام.