Command Palette
Search for a command to run...
الإجابة على الأسئلة المتعلقة بالفيديوهات باستخدام التجزئة التكرارية المشتركة بين الفيديو والنص
الإجابة على الأسئلة المتعلقة بالفيديوهات باستخدام التجزئة التكرارية المشتركة بين الفيديو والنص
AJ Piergiovanni Kairo Morton Weicheng Kuo Michael S. Ryoo Anelia Angelova
الملخص
إن إجابة الأسئلة على الفيديو هي مهمة صعبة تتطلب فهمًا متكاملًا للإدخال اللغوي، والمعلومات البصرية المحتواة في الإطارات الفردية للفيديو، بالإضافة إلى المعلومات الزمنية المتعلقة بالأحداث التي تحدث في الفيديو. في هذه الورقة البحثية، نقترح مُشِّغِّل فيديو متعدد التدفقات جديدًا لحل مهام إجابة الأسئلة على الفيديو، يعتمد على إدخالات فيديو متعددة ونهجًا جديدًا لتوحيد التوكيين (co-tokenization) بين الفيديو والنص بشكل تكراري، مما يمكّن من الإجابة على مجموعة متنوعة من الأسئلة المتعلقة بالفيديوهات. وقد قمنا بتقييم النموذج تجريبيًا على عدة مجموعات بيانات، مثل MSRVTT-QA وMSVD-QA وIVQA، حيث تفوق النموذج السابق الأفضل من حيث الأداء بشكل كبير. وفي الوقت نفسه، قلّل النموذج من عدد العمليات الحسابية المطلوبة (GFLOPs) من نطاق 150-360 إلى 67 فقط، ما يجعله نموذجًا فعّالًا للغاية في إجابة الأسئلة على الفيديو.