الإجابة على الأسئلة المتعلقة بالفيديوهات باستخدام التجزئة التكرارية المشتركة بين الفيديو والنص

إن إجابة الأسئلة على الفيديو هي مهمة صعبة تتطلب فهمًا متكاملًا للإدخال اللغوي، والمعلومات البصرية المحتواة في الإطارات الفردية للفيديو، بالإضافة إلى المعلومات الزمنية المتعلقة بالأحداث التي تحدث في الفيديو. في هذه الورقة البحثية، نقترح مُشِّغِّل فيديو متعدد التدفقات جديدًا لحل مهام إجابة الأسئلة على الفيديو، يعتمد على إدخالات فيديو متعددة ونهجًا جديدًا لتوحيد التوكيين (co-tokenization) بين الفيديو والنص بشكل تكراري، مما يمكّن من الإجابة على مجموعة متنوعة من الأسئلة المتعلقة بالفيديوهات. وقد قمنا بتقييم النموذج تجريبيًا على عدة مجموعات بيانات، مثل MSRVTT-QA وMSVD-QA وIVQA، حيث تفوق النموذج السابق الأفضل من حيث الأداء بشكل كبير. وفي الوقت نفسه، قلّل النموذج من عدد العمليات الحسابية المطلوبة (GFLOPs) من نطاق 150-360 إلى 67 فقط، ما يجعله نموذجًا فعّالًا للغاية في إجابة الأسئلة على الفيديو.