HyperAIHyperAI

Command Palette

Search for a command to run...

الإجابة على الأسئلة المتعلقة بالفيديوهات باستخدام التجزئة التكرارية المشتركة بين الفيديو والنص

AJ Piergiovanni Kairo Morton Weicheng Kuo Michael S. Ryoo Anelia Angelova

الملخص

إن إجابة الأسئلة على الفيديو هي مهمة صعبة تتطلب فهمًا متكاملًا للإدخال اللغوي، والمعلومات البصرية المحتواة في الإطارات الفردية للفيديو، بالإضافة إلى المعلومات الزمنية المتعلقة بالأحداث التي تحدث في الفيديو. في هذه الورقة البحثية، نقترح مُشِّغِّل فيديو متعدد التدفقات جديدًا لحل مهام إجابة الأسئلة على الفيديو، يعتمد على إدخالات فيديو متعددة ونهجًا جديدًا لتوحيد التوكيين (co-tokenization) بين الفيديو والنص بشكل تكراري، مما يمكّن من الإجابة على مجموعة متنوعة من الأسئلة المتعلقة بالفيديوهات. وقد قمنا بتقييم النموذج تجريبيًا على عدة مجموعات بيانات، مثل MSRVTT-QA وMSVD-QA وIVQA، حيث تفوق النموذج السابق الأفضل من حيث الأداء بشكل كبير. وفي الوقت نفسه، قلّل النموذج من عدد العمليات الحسابية المطلوبة (GFLOPs) من نطاق 150-360 إلى 67 فقط، ما يجعله نموذجًا فعّالًا للغاية في إجابة الأسئلة على الفيديو.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp