Command Palette
Search for a command to run...
التعلم المشترك للتمثيل باستخدام إشارات متعددة الوسائط لاسترجاع الفيديو-النص عبر الوسائط
التعلم المشترك للتمثيل باستخدام إشارات متعددة الوسائط لاسترجاع الفيديو-النص عبر الوسائط
Amit K. Roy-Chowdhury Niluthpol Chowdhury Mithun Juncheng Li Florian Metze
الملخص
إن بناء تمثيل مشترك غير متأثر بالاختلافات بين الوسائط المختلفة (مثل الفيديو واللغة) يُعد أمرًا ذا أهمية كبيرة في العديد من التطبيقات متعددة الوسائط. وعلى الرغم من التطورات الحديثة الكبيرة في تطوير أساليب فعّالة لاسترجاع الصور والنصوص من خلال تعلُّم التمثيلات المشتركة، إلا أن مهمة استرجاع الفيديو والنصوص لم تُستكشف إلى أقصى حد ممكن. في هذا البحث، ندرس كيفية الاستفادة الفعّالة من الإشارات متعددة الوسائط المتاحة من الفيديوهات في مهمة استرجاع الفيديو والنصوص عبر الوسائط المختلفة. استنادًا إلى تحليلنا، نقترح إطارًا جديدًا يُستخدم فيه بشكل متزامن خصائص متعددة الوسائط (مثل الخصائص البصرية المختلفة، والمدخلات الصوتية، والنصوص) من خلال استراتيجية دمج تُمكّن من استرجاع فعّال. علاوةً على ذلك، نستعرض عدة دوال خسارة أثناء تدريب التمثيل المشترك، ونُقدّم دالة خسارة مُعدّلة من نوع التصنيف الزوجي لتحسين أداء المهمة. وأظهرت التجارب على مجموعتي بيانات MSVD وMSR-VTT أن طريقةنا تحقق تحسينًا ملحوظًا في الأداء مقارنة بالأساليب الرائدة في المجال.