ZeroDiff: تثبيت الارتباط البصري-الدلالاتي في التعلم بدون أمثلة

التعلم بدون أمثلة (ZSL) يهدف إلى تمكين المصنفات من تحديد فئات غير مُشاهَدَة. يتم تحقيق هذا عادةً بإنشاء خصائص بصرية للفئات غير المُشاهَدَة بناءً على الارتباطات البصرية-الدلالية التي تم تعلمها من الفئات المُشاهَدَة. ومع ذلك، تعتمد معظم النماذج الجenerative الحالية بشكل كبير على وجود عدد كافٍ من العينات من الفئات المُشاهَدَة. تكشف دراستنا أن نقص العينات من الفئات المُشاهَدَة يؤدي إلى انخفاض ملحوظ في الأداء عبر العديد من تقنيات ZSL الجenerative. نحن نجادل، ونقيس، ونبين تجريبيًا أن هذا الانخفاض يُعزى في الغالب إلى الارتباطات البصرية-الدلالية الزائفة.لحل هذه المشكلة، نقدم ZeroDiff، إطار عمل جenerative مبتكر للتعلم بدون أمثلة ZSL يدمج آليات التوسع والتمثيل التضادي لتعزيز الارتباطات البصرية-الدلالية. يتكون ZeroDiff من ثلاثة مكونات رئيسية: (1) توسع التوسع، الذي يقوم بتحويل البيانات المحدودة بشكل طبيعي إلى مجموعة موسعة من البيانات المشوشة لتقليل الإفراط في التكيف للنموذج الجenerative؛ (2) تمثيلات مستندة إلى التباين تحت الإشراف (SC)، التي تقوم بتوصيف كل عينة محدودة ديناميكيًا لدعم إنشاء الخصائص البصرية؛ و(3) عدة تصنيفات للمميزات تستخدم نهج التعليم المتبادل المستند إلى المسافة Wasserstein، وتقيم الخصائص المنشأة من وجهات نظر مختلفة، بما في ذلك الدلاليات المحددة مسبقًا، والتمثيلات المستندة إلى SC، والعملية التوسعية.أظهرت التجارب الواسعة على ثلاث مقاييس شهيرة للتعلم بدون أمثلة ZSL أن ZeroDiff ليس فقط يحقق تحسينات كبيرة على الطرق الحالية للتعلم بدون أمثلة ZSL ولكن أيضًا يحافظ على أداء قوي حتى مع بيانات تدريب محدودة. يمكن الوصول إلى كودنا عبر الرابط التالي: https://github.com/FouriYe/ZeroDiff_ICLR25.