HyperAIHyperAI

Command Palette

Search for a command to run...

SlowFast-LLaVA: أساس قوي بدون تدريب للنماذج اللغوية الكبيرة للمقاطع المرئية

Mingze Xu Mingfei Gao Zhe Gan Hong-You Chen Zhengfeng Lai Haiming Gang Kai Kang Afshin Dehghan

الملخص

نقترح نموذج اللغة الكبير للفيديو بدون تدريب يُعرف بـ SlowFast-LLaVA (أو SF-LLaVA اختصارًا)، والذي يمكنه التقاط الدلالات المكانية التفصيلية والسياق الزمني على المدى الطويل دون تجاوز ميزانية الرموز (tokens) في النماذج اللغوية الكبيرة الشائعة الاستخدام. يتم تحقيق هذا من خلال استخدام تصميم مسارين بطيء وسريع (SlowFast) للمدخلات في نماذج اللغة الكبيرة للفيديو لجمع الخصائص من الإطارات المصورة بطريقة فعالة. تحديدًا، يقوم المسار البطيء باستخراج الخصائص بمعدل إطارات منخفض مع الحفاظ على أكبر قدر ممكن من التفاصيل المكانية (مثل، باستخدام 24×24 رمزًا)، بينما يعمل المسار السريع بمعدل إطارات مرتفع ولكنه يستخدم خطوة تجميع مكانية أكبر (مثل، تقليل الدقة إلى 6×) للتركيز على علامات الحركة. نتيجة لذلك، يسمح هذا التصميم بالتقاط الخصائص المكانية والزمنية بشكل كافٍ مما يساعد في فهم التفاصيل عبر الفيديو.نتائج التجارب أظهرت أن SF-LLaVA يتفوق على الطرق الموجودة حاليًا بدون تدريب في مجموعة واسعة من مهام الفيديو. وفي بعض المقاييس، حقق أداءً مكافئًا أو حتى أفضل مقارنة بنماذج اللغة الكبيرة للفيديو التي تم ضبطها بدقة على مجموعات بيانات الفيديو.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp