VSE++: تحسين التضمينات البصرية-الدلالية باستخدام النماذج السلبية الصعبة

نقدم تقنية جديدة لتعلم التضمينات البصرية-الدلالية لأجل الاسترجاع العابر للأنماط. مستوحاة من التنقيب عن النماذج السلبية الصعبة، استخدام النماذج السلبية الصعبة في التنبؤ الهيكلي، ودوال الخسارة المرتبة، نقوم بتقديم تغيير بسيط في دوال الخسارة الشائعة المستخدمة للتضمينات متعددة الأنماط. هذا التغيير، بالاشتراك مع التعديل الدقيق واستخدام البيانات المعززة، يؤدي إلى مكاسب كبيرة في أداء الاسترجاع. نعرض نهجنا، VSE++ (التضمين البصري-الدلالي المحسن)، على مجموعتي بيانات MS-COCO وFlickr30K باستخدام دراسات الإلغاء الجزئي ومقارنات مع الطرق الحالية. على مجموعة بيانات MS-COCO، يتفوق نهجنا على أفضل الطرق الحالية بنسبة 8.8% في استرجاع الوصف النصي و11.3% في استرجاع الصور (عند R@1).