HyperAIHyperAI

Command Palette

Search for a command to run...

منذ 6 أيام

VIDEOP2R: فهم الفيديو من الإدراك إلى الاستدلال

Yifan Jiang Yueying Wang Rui Zhao Toufiq Parag Zhimin Chen Zhenyu Liao Jayakrishnan Unnikrishnan

VIDEOP2R: فهم الفيديو من الإدراك إلى الاستدلال

الملخص

أظهرت التصحيح المُعزَّز (RFT)، وهي إطار عمل مكوَّن من مرحلتين تشمل التصحيح المُوجَّه (SFT) والتعلم التكراري (RL)، نتائج واعدة في تحسين قدرة النماذج اللغوية الكبيرة (LLMs) على التفكير المنطقي. ومع ذلك، يظل تمديد RFT إلى النماذج اللغوية الكبيرة للفيديوهات (LVLMs) تحديًا كبيرًا. نحن نقترح VideoP2R، وهو إطار عمل جديد لتصحيح الفيديو المُدرَك للسياق، يُحسِّن التفكير في الفيديو من خلال نمذجة الإدراك والتفكير كعمليتين منفصلتين. في المرحلة الأولى (SFT)، نطوّر نموذجًا ثلاثي الخطوات لإنشاء مجموعة بيانات عالية الجودة تُسمى VideoP2R-CoT-162K، وهي مجموعة بيانات مُدرَكة للسياق تُستخدم لتمثيل سلسلة التفكير (CoT) في الإدراك والتفكير. وفي المرحلة الثانية (RL)، نقدِّم خوارزمية جديدة تُسمى تحسين سياسة المجموعة النسبية المُدرَكة للسياق (PA-GRPO)، والتي توفر مكافآت منفصلة للإدراك والتفكير. أظهرت التجارب الواسعة أن VideoP2R تحقق أداءً من الدرجة الأولى (SotA) في ستة من أصل سبعة معايير لفهم وتحليل الفيديو. كما أكدت دراسات الإزالة فعالية نمذجة السياق لدينا وخوارزمية PA-GRPO، وبيّنت أن إخراج الإدراك من النموذج يحتوي على معلومات كافية للتفكير اللاحق.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
VIDEOP2R: فهم الفيديو من الإدراك إلى الاستدلال | الأوراق البحثية | HyperAI