Transformer مُوجَّه بالارتباط المُدرك للدور النحوي لاسترجاع الفيديو من النص

مع ظهور وسائل التواصل الاجتماعي، يتم رفع كميات هائلة من مقاطع الفيديو يوميًا، مما يجعل استرجاع المحتوى البصري الأكثر صلة باستخدام استعلام لغوي أمرًا بالغ الأهمية. تسعى معظم الطرق الحالية إلى تعلّم فضاء تضمين مشترك للمحتوى النصي البسيط والمضمون البصري، دون استغلال كافٍ للهياكل الداخلية داخل كل وسيلة (الداخلية للوسيلة) والارتباطات بين الوسائط المختلفة. تقدم هذه الورقة نموذجًا جديدًا يعتمد على مُحَوِّل (Transformer) يُفصّل بشكل صريح النص والفيديو إلى أدوار معنوية تمثل الكائنات، والسياقات المكانية، والسياقات الزمنية، باستخدام آلية انتباه لتعلم الارتباطات الداخلية بين هذه الأدوار الثلاثة والارتباطات بينها، بهدف اكتشاف ميزات تمييزية لعملية المطابقة على مستويات مختلفة. تُظهر النتائج الأولية على مجموعة بيانات YouCook2 الشهيرة أن منهجنا يتفوق على أحدث طريقة حالية بفارق كبير في جميع المقاييس، كما يتفوق على طريقتين من الطرق الرائدة (SOTA) من حيث معيارين من المقاييس.