إطلاق الإمكانات المتأصلة في الفاصل العادي: إطار عمل إزالة التهديدات المخصصة للصف للفهم البصري الضعيف التدريب

يُستخدم التصنيف الدلالي الضعيف (WSSS) المبني على علامات التصنيف على مستوى الصورة عادةً خرائط التنشيط الفئة (CAMs) لتحديد مواقع الكائنات المهمة في الصور. ورغم أن CAMs تُظهر فقط المناطق الأكثر تمييزًا للفئات المطلوبة، فقد تم اقتراح أساليب التزيل العدائي (AE) لاستكشاف المناطق الأقل تمييزًا بشكل أكبر. في هذا البحث، نراجع الإمكانات الكامنة في المصنف المُدرّب مسبقًا على الصور الخام. ونُثبت تجريبيًا أن المصنف العادي يمتلك بالفعل القدرة على تنشيط المناطق الأقل تمييزًا إذا تم حذف المناطق الأكثر تمييزًا إلى حد ما. استنادًا إلى ذلك، نقترح إطارًا قائمًا على التزيل العدائي مخصصًا لكل فئة، يُستغل فيه بالكامل الإمكانات المتوفرة في المصنف العادي. يعتمد إطارنا على (1) استخدام المصنف العادي لإبلاغ المناطق التي يجب حذفها، و(2) إنشاء قناع مخصص للفئة من خلال أخذ عينة عشوائية لفئة محددة واحدة (الفئة الهدف) من بين الفئات الموجودة في الصورة، بهدف الحصول على CAMs أكثر دقة. وبشكل خاص، وبتوجيه من المصنف العادي، يُجبر شبكة توليد CAMs (CGNet) على إنتاج CAM للفئة الهدف مع تقييد CAM من التدخل في مناطق الكائنات الخاصة بالفئات الأخرى. وبالإضافة إلى العلامات الوهمية المحسّنة من CAMs الخاصة بنا، نحقق أداءً متقدمًا على مستوى الحالة (SOTA) في المهمة WSSS على كلا المجموعتين: PASCAL VOC 2012 وMS-COCO، باستخدام فقط إشراف على مستوى الصورة. يمكن الوصول إلى الشفرة من خلال الرابط: https://github.com/KAIST-vilab/OC-CSE.