HyperAIHyperAI

Command Palette

Search for a command to run...

LLaVA-مقص: ضغط الرموز باستخدام المكونات المرتبطة معانيًا لـ النماذج اللغوية الكبيرة للفيديو

Boyuan Sun Jiaxing Zhao Xihan Wei Qibin Hou

الملخص

في هذا البحث، نقدم LLaVA-Scissor، وهي استراتيجية ضغط رموز (tokens) بدون تدريب مصممة للنماذج اللغوية المتعددة الوسائط الكبيرة المصورة. الطرق السابقة تحاول في الغالب ضغط الرموز بناءً على درجات الاهتمام (attention scores)، لكنها فشلت في التقاط جميع المناطق الدلالية بشكل فعال وأدت غالبًا إلى تكرار الرموز. بخلاف ذلك، نقترح الاستفادة من نهج المكونات الدلالية المتصلة (Semantic Connected Components - SCC)، الذي يربط الرموز بمناطق دلالية متميزة داخل مجموعة الرموز، مما يضمن التغطية الدلالية الشاملة. النتيجة هي استراتيجية ضغط رموز ثنائية الخطوات في المجالين المكاني والزماني، والتي تستفيد من SCC في كلا المجالين. يمكن لهذه الاستراتيجية أن تضغط الرموز بكفاءة من خلال تمثيل الفيديو بأكمله بمجموعة من الرموز الدلالية غير المتشابكة. قمنا بإجراء تقييمات واسعة لقدرات ضغط الرموز لـ LLaVA-Scissor عبر مجموعة متنوعة من مقاييس فهم الفيديو، بما في ذلك الإجابة على أسئلة الفيديو، فهم الفيديوهات الطويلة، والمقاييس متعددة الخيارات الشاملة. أظهرت النتائج التجريبية أن LLaVA-Scissor المقترحة تتفوق على طرق ضغط الرموز الأخرى، حيث حققت أداءً أفضل في مختلف مقاييس فهم الفيديو، خاصة عند نسب حفظ الرموز المنخفضة. صفحة المشروع: https://github.com/HumanMLLM/LLaVA-Scissor.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp