InternVideo2.5: تمكين نماذج اللغة المتعددة الوسائط المرئية بتمثيل سياق طويل وغني

يهدف هذا البحث إلى تحسين أداء نماذج اللغة المتعددة الأوضاع الكبيرة للفيديو (MLLM) من خلال نمذجة السياق الطويل والغني (LRC). ولتحقيق ذلك، قمنا بتطوير إصدار جديد من InternVideo2.5 مع التركيز على تعزيز قدرة النماذج الأصلية المتعددة الأوضاع الكبيرة على الإدراك التفصيلي الدقيق وتقاطع الهياكل الزمنية الطويلة في الفيديوهات. وبشكل محدد، يدمج نهجنا شروحًا كثيفة للمهام البصرية في النماذج متعددة الأوضاع الكبيرة باستخدام التحسين المباشر للرغبات، ويطور تمثيلات زمانية ومكانية مضغوطة عبر ضغط الرموز الهرمي المتكيف. تظهر النتائج التجريبية أن هذا التصميم الفريد للسياق الطويل والغني (LRC) يحسن بشكل كبير نتائج نموذج الفيديو MLLM في مقاييس فهم الفيديو الرئيسية (القصيرة والطويلة)، مما يمكن النموذج من حفظ مدخلات فيديو أطول بكثير (على الأقل 6 مرات أطول من الأصلي)، وإتقان قدرات بصرية متخصصة مثل تتبع الأجسام والتقطيع. يسلط عملنا الضوء على أهمية غنى السياق متعدد الأوضاع (الطول والتفصيل الدقيق) في تمكين القدرات الذاتية لنموذج MLLM (التركيز والذاكرة)، مما يقدم رؤى جديدة لأبحاث المستقبل حول نموذج الفيديو MLLM. يمكن الحصول على الشفرة والنماذج من https://github.com/OpenGVLab/InternVideo/tree/main/InternVideo2.5