MDMMT-2: نموذج تحويلي متعدد المجالات متعدد الوسائط للبحث في الفيديو، خطوة إضافية نحو التعميم

في هذه الدراسة، نقدّم حالة متقدمة من التقنية في مهمة استرجاع الفيديو من النصوص على مجموعات بيانات MSR-VTT وLSMDC وMSVD وYouCook2 وTGIF، باستخدام نموذج واحد فقط. تم دمج ثلاث مصادر بيانات مختلفة: مقاطع فيديو مُدرَّبة بشكل ضعيف، و đôi من النصوص والصور تم تسميتها بواسطة جماهير، و đôi من النصوص والفيديوهات. وقد ساعد تحليل دقيق للشبكات المُدرّبة مسبقًا في اختيار أفضل النماذج المعرفية السابقة. كما نقدّم إجراء تدريب مكوّن من ثلاث مراحل، يُحقق كفاءة عالية في نقل المعرفة، ويسمح باستخدام مجموعات بيانات مشوّشة أثناء التدريب دون تدهور في الجودة المعرفية السابقة. علاوةً على ذلك، تم استخدام ترميز موضعي مزدوج لتحسين دمج الوسائط المختلفة، واقتُرح أسلوب بسيط لمعالجة المدخلات غير المربعة.