SlowFast-LLaVA: أساس قوي بدون تدريب للنماذج اللغوية الكبيرة للمقاطع المرئية

نقترح نموذج اللغة الكبير للفيديو بدون تدريب يُعرف بـ SlowFast-LLaVA (أو SF-LLaVA اختصارًا)، والذي يمكنه التقاط الدلالات المكانية التفصيلية والسياق الزمني على المدى الطويل دون تجاوز ميزانية الرموز (tokens) في النماذج اللغوية الكبيرة الشائعة الاستخدام. يتم تحقيق هذا من خلال استخدام تصميم مسارين بطيء وسريع (SlowFast) للمدخلات في نماذج اللغة الكبيرة للفيديو لجمع الخصائص من الإطارات المصورة بطريقة فعالة. تحديدًا، يقوم المسار البطيء باستخراج الخصائص بمعدل إطارات منخفض مع الحفاظ على أكبر قدر ممكن من التفاصيل المكانية (مثل، باستخدام 24×24 رمزًا)، بينما يعمل المسار السريع بمعدل إطارات مرتفع ولكنه يستخدم خطوة تجميع مكانية أكبر (مثل، تقليل الدقة إلى 6×) للتركيز على علامات الحركة. نتيجة لذلك، يسمح هذا التصميم بالتقاط الخصائص المكانية والزمنية بشكل كافٍ مما يساعد في فهم التفاصيل عبر الفيديو.نتائج التجارب أظهرت أن SF-LLaVA يتفوق على الطرق الموجودة حاليًا بدون تدريب في مجموعة واسعة من مهام الفيديو. وفي بعض المقاييس، حقق أداءً مكافئًا أو حتى أفضل مقارنة بنماذج اللغة الكبيرة للفيديو التي تم ضبطها بدقة على مجموعات بيانات الفيديو.