التعلم المعمم بقليل من العينات وبدون عينات عبر مُشغّلات الترميز المتغير المُحاذاة

تستند العديد من الطرق في التعلم الصوري العام بدون أمثلة (التعلم الصوري الصفر) على الخرائط متعددة الوسائط بين فضاء خصائص الصور وفضاء تضمين الفئات. نظرًا لكون الصور المصنفة باهظة الثمن، فإن أحد الاتجاهات هو توسيع مجموعة البيانات بإنشاء صور أو خصائص صورية. ومع ذلك، فإن الطريقة الأولى تفتقد إلى التفاصيل الدقيقة والثانية تتطلب تعلم خريطة مرتبطة بتضمين الفئات. في هذا العمل، نتقدم خطوة إضافية في إنشاء الخصائص ونقترح نموذجًا حيث يتم تعلم فضاء كامن مشترك لخصائص الصور وتضمين الفئات بواسطة مُشفِّرات ذاتية متغيرية مُحَدَّدة حسب الوسيلة ومُحاذاة. هذا يترك لنا المعلومات التمييزية المطلوبة حول الصورة والفئات في الخصائص الكامنة، والتي نقوم بتدريب تصنيف سوفتماكس عليها. المفتاح في منهجيتنا هو أننا نحاذي التوزيعات التي تم تعلمها من الصور ومن المعلومات الجانبية لبناء خصائص كامنة تحتوي على المعلومات متعددة الوسائط الأساسية المرتبطة بالفئات غير المرئية. قمنا بتقييم الخصائص الكامنة التي تعلمناها على عدة مجموعات بيانات معيارية، مثل CUB وSUN وAWA1 وAWA2، وأقمنا حالة جديدة للفن الأفضل في التعلم الصوري العام بدون أمثلة وكذلك في التعلم القليل الأمثلة. علاوة على ذلك، أظهرت نتائجنا على ImageNet مع تقسيمات مختلفة للتعلم بدون أمثلة أن خصائصنا الكامنة تعمل بشكل جيد في الإعدادات ذات الحجم الكبير.