MART: محول تكراري مُعزز بالذاكرة للتوثيق المتماسك للنص الفيديو

تُعدّ إنشاء وصفات متعددة الجمل للفيديوهات واحدة من أكثر مهام التسمية تحديًا بسبب متطلباتها العالية ليس فقط من حيث الصلة البصرية، بل أيضًا من حيث الترابط النحوي والمنطقي بين الجمل داخل الفقرة. من أجل تحقيق هذا الهدف، نقترح منهجية جديدة تُسمى "مُحَوِّل مُتَكرِّر مُزوَّد بذاكرة" (MART)، والتي تستخدم وحدة ذاكرة لتعزيز بنية المحول (Transformer). حيث تقوم وحدة الذاكرة بتكوين حالة ذاكرة مُوجَّزة للغاية من خلال تحليل مقاطع الفيديو والسجل النصي للجمل السابقة، بهدف مساعدة التنبؤ بالجملة التالية بشكل أفضل (من حيث الجوانب المتعلقة بالاستعارة والتكاثر)، مما يشجع على إنشاء فقرات متماسكة. وقد أظهرت تجارب واسعة النطاق، وتقييمات بشرية، وتحليلات نوعية على مجموعتي بيانات شهيرتين، هما ActivityNet Captions وYouCookII، أن MART تُنتج وصفًا فقراتيًا أكثر تماسكًا وأقل تكرارًا مقارنةً بالطرق الأساسية، مع الحفاظ على الصلة بالأحداث المُدخلة في الفيديو. وجميع الكود مُتاح بشكل مفتوح المصدر عبر الرابط التالي: https://github.com/jayleicn/recurrent-transformer