في الآونة الأخيرة، يُعد دمج نماذج الأساس المرئية مع النماذج اللغوية الكبيرة لبناء نظام لفهم الفيديو وسيلة فعّالة للتغلب على القيود المرتبطة بالمهام البصرية المحددة مسبقًا. ومع ذلك، تعتمد الطرق الحالية إما على وحدات مكانيّة-زمنيّة معقّدة أو تعتمد بشكل كبير على نماذج إدراك إضافية لاستخراج الميزات الزمنية لفهم الفيديو، كما أن أداؤها محدود في الفيديوهات الطويلة. فبالنسبة للفيديوهات الطويلة، تزداد بشكل كبير التعقيد الحسابي وتكاليف الذاكرة المرتبطة بالاتصالات الزمنية الطويلة الأمد، مما يفرض تحديات إضافية. وباستغلال نموذج الذاكرة Atkinson-Shiffrin، حيث تُستخدم الرموز (tokens) في نماذج Transformers كوسيلة لنقل الذاكرة، مع آلية ذاكرة مصممة خصيصًا من قبلنا، نقدّم نموذج MovieChat للتغلب على هذه التحديات. يتميز MovieChat بتمكين النماذج اللغوية الكبيرة متعددة الوسائط المُدرّبة مسبقًا من فهم الفيديوهات الطويلة دون الحاجة إلى إدخال وحدات زمنية قابلة للتدريب إضافية، وذلك باستخدام نهج "صفر-النماذج" (zero-shot). ويحقق MovieChat أداءً يُعدّ الأفضل في مجال فهم الفيديوهات الطويلة، مع إصداره لbenchmark MovieChat-1K الذي يحتوي على 1000 فيديو طويل، و2000 علامة تربيعية زمنية، و14000 ملاحظة يدوية لاختبار فعالية طريقة العمل. يمكن الوصول إلى الكود والبيانات عبر الرابط التالي: https://github.com/rese1f/MovieChat.