HyperAIHyperAI

Command Palette

Search for a command to run...

InternVideo2.5: تمكين نماذج اللغة المتعددة الوسائط المرئية بتمثيل سياق طويل وغني

Unknown

الملخص

يهدف هذا البحث إلى تحسين أداء نماذج اللغة المتعددة الأوضاع الكبيرة للفيديو (MLLM) من خلال نمذجة السياق الطويل والغني (LRC). ولتحقيق ذلك، قمنا بتطوير إصدار جديد من InternVideo2.5 مع التركيز على تعزيز قدرة النماذج الأصلية المتعددة الأوضاع الكبيرة على الإدراك التفصيلي الدقيق وتقاطع الهياكل الزمنية الطويلة في الفيديوهات. وبشكل محدد، يدمج نهجنا شروحًا كثيفة للمهام البصرية في النماذج متعددة الأوضاع الكبيرة باستخدام التحسين المباشر للرغبات، ويطور تمثيلات زمانية ومكانية مضغوطة عبر ضغط الرموز الهرمي المتكيف. تظهر النتائج التجريبية أن هذا التصميم الفريد للسياق الطويل والغني (LRC) يحسن بشكل كبير نتائج نموذج الفيديو MLLM في مقاييس فهم الفيديو الرئيسية (القصيرة والطويلة)، مما يمكن النموذج من حفظ مدخلات فيديو أطول بكثير (على الأقل 6 مرات أطول من الأصلي)، وإتقان قدرات بصرية متخصصة مثل تتبع الأجسام والتقطيع. يسلط عملنا الضوء على أهمية غنى السياق متعدد الأوضاع (الطول والتفصيل الدقيق) في تمكين القدرات الذاتية لنموذج MLLM (التركيز والذاكرة)، مما يقدم رؤى جديدة لأبحاث المستقبل حول نموذج الفيديو MLLM. يمكن الحصول على الشفرة والنماذج من https://github.com/OpenGVLab/InternVideo/tree/main/InternVideo2.5


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp