HyperAIHyperAI

Command Palette

Search for a command to run...

Console
منذ 2 أيام

VideoRewardBench: تقييم شامل للنماذج المتميزة متعددة الوسائط لفهم الفيديو

Zhihong Zhang Xiaojian Huang Jin Xu Zhuodong Luo Xinzhi Wang Jiansheng Wei Xuejin Chen

VideoRewardBench: تقييم شامل للنماذج المتميزة متعددة الوسائط لفهم الفيديو

الملخص

تلعب النماذج المكافئة متعددة الوسائط (MRMs) دورًا محوريًا في تدريب نماذج الرؤية واللغة الكبيرة (LVLMs) وتشغيلها وتقييمها من خلال تقييم جودة الاستجابات. ومع ذلك، تعاني المعايير الحالية لتقييم النماذج المكافئة متعددة الوسائط في المجال المرئي من قلة عدد الأسئلة وتنوعها، وافتقارها إلى أبعاد تقييم شاملة، بالإضافة إلى ضعف تقييم أنواع متنوعة من النماذج المكافئة متعددة الوسائط. ولسد هذه الفجوات، نقدم "VideoRewardBench"، أول معيار شامل يغطي أربع جوانب أساسية لفهم الفيديو: الإدراك، والمعرفة، والاستنتاج، والأمان. وباستخدام خط أنابيب بيانات مدعوم بالذكاء الاصطناعي، نُعدّ مجموعة بيانات عالية الجودة تحتوي على 1,563 عينة تم ترميزها، تتضمن 1,482 فيديو فريدًا و1,559 سؤالًا مختلفًا—ما يعادل 15 مرة عدد الأسئلة في أكثر المعايير السابقة غنىً بالأسئلة. يتكوّن كل عينة من ثلاثية تتضمن: نصًا مرئيًا (مقطع فيديو نصي)، واستجابة مختارة، واستجابة مرفوضة. كما نُجري تقييمًا شاملاً على 28 نموذجًا مكافئًا متعدد الوسائط تنتمي إلى ثلاث فئات: التوليدية، والتمييزية، والشبه العددية. تُظهر النتائج أن حتى النموذج الأفضل أداءً، GPT-4o، يحقق دقة إجمالية بلغت 57.0% فقط، بينما يصل النموذج المفتوح المصدر المتطور حاليًا، Qwen2.5-VL-72B، إلى 53.3% فقط. كما تكشف تحليلاتنا عن ثلاث رؤى رئيسية: (أ) لا يُعدّ من الضروري أن تُظهر النماذج المكافئة التي تم تدريبها باستخدام التعلم بالتعزيز (RL) تعميمًا عبر الوسائط الأقوى مقارنةً بالتي لم تُدرَّس بالتعلم بالتعزيز؛ (ب) باستثناء النماذج المكافئة التمييزية، يمكن لبقية أنواع النماذج المكافئة ذات القدرات المختلفة الاستفادة من التوسع أثناء التوليد (inference-time scaling)؛ (ج) تؤثر تغيرات عدد الإطارات في الفيديو المُدخل بشكل مختلف على أنواع متنوعة من النماذج المكافئة متعددة الوسائط. نعتقد أن "VideoRewardBench" يُقدّم معيارًا صعبًا وقيّمًا يسهم في تطوير وتقييم النماذج المكافئة متعددة الوسائط في المجال المرئي.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية بالذكاء الاصطناعي
وحدات معالجة الرسوميات الجاهزة للاستخدام
أفضل تسعير

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
VideoRewardBench: تقييم شامل للنماذج المتميزة متعددة الوسائط لفهم الفيديو | الأوراق البحثية | HyperAI