التعلم الصفرية والقليلة التعميمية عبر مُشفّرات التلقائية المُتحدة التوجيه

تعتمد العديد من النماذج في التعلم الصفري المعمم على التمثيل عبر الوسائط بين فضاء ميزات الصور وفضاء تضمين الفئات. وبما أن الصور المُعلّمة تكون مكلفة، فإن أحد الاتجاهات هو تعزيز مجموعة البيانات من خلال إنشاء صور أو ميزات صور. ومع ذلك، فإن الإنشاء الأول يفتقر إلى التفاصيل الدقيقة، بينما يتطلب الثاني تعلم علاقة تمايز مرتبطة بتضمينات الفئات. في هذا العمل، نأخذ توليد الميزات خطوة أبعد ونقترح نموذجًا يتعلم فضاءً خفيًا مشتركًا لميزات الصور وتضمينات الفئات باستخدام متغيرات تلقائية مُتمايزة مُتمايزة حسب الوسيلة (modality-specific aligned variational autoencoders). هذا يترك لنا المعلومات التمييزية المطلوبة حول الصور والفئات في الميزات الخفية، التي نستخدمها لتدريب فاصل دالة سويفت (softmax classifier). ويتمثل العنصر المحوري في نهجنا في تمايز التوزيعات المستخلصة من الصور والمعلومات الجانبية لبناء ميزات خفية تحتوي على المعلومات متعددة الوسائط الأساسية المرتبطة بالفئات غير المرئية. وقد قمنا بتقييم الميزات الخفية المُتعلّمة على عدة مجموعات بيانات معيارية، مثل CUB وSUN وAWA1 وAWA2، وحققنا حالة جديدة من التقدم في التعلم الصفري المعمم وكذلك في التعلم بكمية قليلة من الأمثلة. علاوةً على ذلك، تُظهر نتائجنا على ImageNet باستخدام تقسيمات صفرية متنوعة أن ميزاتنا الخفية تُظهر قدرة عالية على التعميم في البيئات الكبيرة.