HyperAIHyperAI

Command Palette

Search for a command to run...

التعلم المشترك للتمثيل باستخدام إشارات متعددة الوسائط لاسترجاع الفيديو-النص عبر الوسائط

Amit K. Roy-Chowdhury Niluthpol Chowdhury Mithun Juncheng Li Florian Metze

الملخص

إن بناء تمثيل مشترك غير متأثر بالاختلافات بين الوسائط المختلفة (مثل الفيديو واللغة) يُعد أمرًا ذا أهمية كبيرة في العديد من التطبيقات متعددة الوسائط. وعلى الرغم من التطورات الحديثة الكبيرة في تطوير أساليب فعّالة لاسترجاع الصور والنصوص من خلال تعلُّم التمثيلات المشتركة، إلا أن مهمة استرجاع الفيديو والنصوص لم تُستكشف إلى أقصى حد ممكن. في هذا البحث، ندرس كيفية الاستفادة الفعّالة من الإشارات متعددة الوسائط المتاحة من الفيديوهات في مهمة استرجاع الفيديو والنصوص عبر الوسائط المختلفة. استنادًا إلى تحليلنا، نقترح إطارًا جديدًا يُستخدم فيه بشكل متزامن خصائص متعددة الوسائط (مثل الخصائص البصرية المختلفة، والمدخلات الصوتية، والنصوص) من خلال استراتيجية دمج تُمكّن من استرجاع فعّال. علاوةً على ذلك، نستعرض عدة دوال خسارة أثناء تدريب التمثيل المشترك، ونُقدّم دالة خسارة مُعدّلة من نوع التصنيف الزوجي لتحسين أداء المهمة. وأظهرت التجارب على مجموعتي بيانات MSVD وMSR-VTT أن طريقةنا تحقق تحسينًا ملحوظًا في الأداء مقارنة بالأساليب الرائدة في المجال.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التعلم المشترك للتمثيل باستخدام إشارات متعددة الوسائط لاسترجاع الفيديو-النص عبر الوسائط | مستندات | HyperAI