LLaVA-مقص: ضغط الرموز باستخدام المكونات المرتبطة معانيًا لـ النماذج اللغوية الكبيرة للفيديو

في هذا البحث، نقدم LLaVA-Scissor، وهي استراتيجية ضغط رموز (tokens) بدون تدريب مصممة للنماذج اللغوية المتعددة الوسائط الكبيرة المصورة. الطرق السابقة تحاول في الغالب ضغط الرموز بناءً على درجات الاهتمام (attention scores)، لكنها فشلت في التقاط جميع المناطق الدلالية بشكل فعال وأدت غالبًا إلى تكرار الرموز. بخلاف ذلك، نقترح الاستفادة من نهج المكونات الدلالية المتصلة (Semantic Connected Components - SCC)، الذي يربط الرموز بمناطق دلالية متميزة داخل مجموعة الرموز، مما يضمن التغطية الدلالية الشاملة. النتيجة هي استراتيجية ضغط رموز ثنائية الخطوات في المجالين المكاني والزماني، والتي تستفيد من SCC في كلا المجالين. يمكن لهذه الاستراتيجية أن تضغط الرموز بكفاءة من خلال تمثيل الفيديو بأكمله بمجموعة من الرموز الدلالية غير المتشابكة. قمنا بإجراء تقييمات واسعة لقدرات ضغط الرموز لـ LLaVA-Scissor عبر مجموعة متنوعة من مقاييس فهم الفيديو، بما في ذلك الإجابة على أسئلة الفيديو، فهم الفيديوهات الطويلة، والمقاييس متعددة الخيارات الشاملة. أظهرت النتائج التجريبية أن LLaVA-Scissor المقترحة تتفوق على طرق ضغط الرموز الأخرى، حيث حققت أداءً أفضل في مختلف مقاييس فهم الفيديو، خاصة عند نسب حفظ الرموز المنخفضة. صفحة المشروع: https://github.com/HumanMLLM/LLaVA-Scissor.