يقدم هذا البحث نموذج MiniGPT4-فيديو، وهو نموذج لغوي كبير متعدد الوسائط (LLM) مصمم خصيصًا لفهم الفيديوهات. يتميز هذا النموذج بقدرته على معالجة البيانات البصرية والنصية الزمنية، مما يجعله ماهرًا في فهم تعقيدات الفيديو. يعتمد هذا البحث على نجاح MiniGPT-v2، الذي أظهر تفوقًا في تحويل الخصائص البصرية إلى مجال النماذج اللغوية الكبيرة للصور المنفردة وحقق نتائج مثيرة للإعجاب في العديد من مقاييس الصور والنصوص. يوسع هذا البحث قدرات النموذج ليتمكن من معالجة سلسلة من الإطارات، مما يمكنه من فهم الفيديوهات. لا يقتصر MiniGPT4-فيديو على النظر إلى المحتوى البصري فحسب، بل يدمج أيضًا المحادثات النصية، مما يسمح للنموذج بالرد بشكل فعال على الاستفسارات التي تتضمن كلاً من العناصر البصرية والنصية. حقق النموذج المقترح تفوقًا على الطرق الحالية الأكثر تقدمًا، حيث سجل ارتفاعات بنسبة 4.22% و1.13% و20.82% و13.1% في مقاييس MSVD وMSRVTT وTGIF وTVQA على التوالي. تم جعل نماذجنا وكود البرمجة متاحين للجمهور هنا: https://vision-cair.github.io/MiniGPT4-video/