Yifan Jiang Yueying Wang Rui Zhao Toufiq Parag Zhimin Chen Zhenyu Liao Jayakrishnan Unnikrishnan

الملخص
أظهرت التصحيح المُعزَّز (RFT)، وهي إطار عمل مكوَّن من مرحلتين تشمل التصحيح المُوجَّه (SFT) والتعلم التكراري (RL)، نتائج واعدة في تحسين قدرة النماذج اللغوية الكبيرة (LLMs) على التفكير المنطقي. ومع ذلك، يظل تمديد RFT إلى النماذج اللغوية الكبيرة للفيديوهات (LVLMs) تحديًا كبيرًا. نحن نقترح VideoP2R، وهو إطار عمل جديد لتصحيح الفيديو المُدرَك للسياق، يُحسِّن التفكير في الفيديو من خلال نمذجة الإدراك والتفكير كعمليتين منفصلتين. في المرحلة الأولى (SFT)، نطوّر نموذجًا ثلاثي الخطوات لإنشاء مجموعة بيانات عالية الجودة تُسمى VideoP2R-CoT-162K، وهي مجموعة بيانات مُدرَكة للسياق تُستخدم لتمثيل سلسلة التفكير (CoT) في الإدراك والتفكير. وفي المرحلة الثانية (RL)، نقدِّم خوارزمية جديدة تُسمى تحسين سياسة المجموعة النسبية المُدرَكة للسياق (PA-GRPO)، والتي توفر مكافآت منفصلة للإدراك والتفكير. أظهرت التجارب الواسعة أن VideoP2R تحقق أداءً من الدرجة الأولى (SotA) في ستة من أصل سبعة معايير لفهم وتحليل الفيديو. كما أكدت دراسات الإزالة فعالية نمذجة السياق لدينا وخوارزمية PA-GRPO، وبيّنت أن إخراج الإدراك من النموذج يحتوي على معلومات كافية للتفكير اللاحق.
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.