HyperAIHyperAI

Command Palette

Search for a command to run...

نماذج التوقيت الفعلي للإجراءات في الإجابة على الأسئلة المتعلقة بالفيديوهات

Junwen Chen Jie Zhu Yu Kong

الملخص

رغم التقدم الكبير في مجال الإجابة على الأسئلة المتعلقة بالفيديوهات (VideoQA)، تظل الطرق الحالية غير كافية في التعامل مع الأسئلة التي تتطلب تفكيرًا سببيًا أو زمنيًا عبر الإطارات. ويمكن تفسير ذلك بتمثيلات الحركة غير الدقيقة. نقدم نموذج تمييز التمدد الزمني للإجراءات (Action Temporality Modeling - ATM) لتمكين التفكير الزمني من خلال ثلاث خصائص فريدة: (1) إعادة التفكير في التدفق البصري (optical flow)، والاعتراف بأن التدفق البصري فعّال في التقاط التفكير الزمني على مدى طويل؛ (2) تدريب تمثيلات البصريات والنص من خلال التعلم التبايني بطريقة متمحورة حول الإجراءات، مما يؤدي إلى تمثيلات أفضل للإجراءات في كلا المجالين البصري والنصي؛ (3) منع النموذج من الإجابة على السؤال عند استخدام الفيديو المُختلط (shuffled video) خلال مرحلة التحسين الدقيق، لتجنب الارتباط الوهمي بين المظهر والحركة، وبالتالي ضمان تفكير زمني دقيق. في التجارب، نُظهر أن ATM يتفوق على الطرق السابقة من حيث الدقة في عدة مهام VideoQA، ويُظهر أيضًا قدرة أفضل على التفكير الزمني الحقيقي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
نماذج التوقيت الفعلي للإجراءات في الإجابة على الأسئلة المتعلقة بالفيديوهات | مستندات | HyperAI