تعلم تمثيلات بصرية-دلالية قوية

العديد من الطرق الحالية لتعلم التضمين المشترك للصور والنصوص تعتمد فقط على المعلومات المراقبة من الصور المزدوجة وخصائصها النصية. استغلالًا للنجاحات الحديثة في التعلم غير المراقب في الشبكات العصبية العميقة، نقترح إطارًا تعلمياً متكاملًا قادرًا على استخراج تمثيلات متعددة الأوضاع أكثر صلابة عبر المجالات. يجمع الطريقة المقترحة بين نماذج تعلم التمثيل (مثل، الكودرات الذاتية) ومعايير التعلم عبر المجالات (مثل، خسارة الاختلاف المتوسط الأقصى) لتعلم التضمينات المشتركة للميزات الدلالية والبصرية. يتم تقديم تقنية جديدة للاستدلال بتكيف البيانات غير المراقبة لبناء تضمينات أكثر شمولًا لكل من البيانات المصنفة وغير المصنفة. نقيم طرقتنا على مجموعة بيانات "الحيوانات مع الخصائص" و "طيور كالتيك-يو سي إس دي 200-2011" مع نطاق واسع من التطبيقات، بما في ذلك اعتراف الصور وإعادة استرجاعها في حالات عدم وجود أمثلة أو وجود أمثلة قليلة، من الإعداد الاستقرائي إلى الإعداد الاستدلالي. عملياً، نظهر أن إطارنا يحسن الأداء على العديد من المهام التي تم النظر فيها مقارنة بأحدث التقنيات المتاحة.