HyperAIHyperAI

Command Palette

Search for a command to run...

Transformer مُوجَّه بالارتباط المُدرك للدور النحوي لاسترجاع الفيديو من النص

Burak Satar Hongyuan Zhu Xavier Bresson Joo Hwee Lim

الملخص

مع ظهور وسائل التواصل الاجتماعي، يتم رفع كميات هائلة من مقاطع الفيديو يوميًا، مما يجعل استرجاع المحتوى البصري الأكثر صلة باستخدام استعلام لغوي أمرًا بالغ الأهمية. تسعى معظم الطرق الحالية إلى تعلّم فضاء تضمين مشترك للمحتوى النصي البسيط والمضمون البصري، دون استغلال كافٍ للهياكل الداخلية داخل كل وسيلة (الداخلية للوسيلة) والارتباطات بين الوسائط المختلفة. تقدم هذه الورقة نموذجًا جديدًا يعتمد على مُحَوِّل (Transformer) يُفصّل بشكل صريح النص والفيديو إلى أدوار معنوية تمثل الكائنات، والسياقات المكانية، والسياقات الزمنية، باستخدام آلية انتباه لتعلم الارتباطات الداخلية بين هذه الأدوار الثلاثة والارتباطات بينها، بهدف اكتشاف ميزات تمييزية لعملية المطابقة على مستويات مختلفة. تُظهر النتائج الأولية على مجموعة بيانات YouCook2 الشهيرة أن منهجنا يتفوق على أحدث طريقة حالية بفارق كبير في جميع المقاييس، كما يتفوق على طريقتين من الطرق الرائدة (SOTA) من حيث معيارين من المقاييس.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
Transformer مُوجَّه بالارتباط المُدرك للدور النحوي لاسترجاع الفيديو من النص | مستندات | HyperAI