تعلم العلامات الوهمية للتصنيف الدلالي شبه المراقب والضعيف المراقب

في هذه الورقة، نهدف إلى معالجة التجزئة الدلالية شبه المُراقبة والضعيفة (SWSSS)، حيث تكون هناك العديد من التسميات على مستوى الصورة (image-level classification labels) وعدد قليل جدًا من التسميات على مستوى البكسل (pixel-level annotations). نعتقد أن النقطة الأكثر أهمية لحل مشكلة SWSSS تكمن في إنتاج تسميات وهمية عالية الجودة، وتعالج طريقة عملنا هذه النقطة من منظورين. أولاً، نقدم خسارة متقاطعة مُراعية للصنف (CCE) لتدريب الشبكة العصبية. مقارنةً بالخسارة المتقاطعة التقليدية، فإن خسارة CCE تشجع النموذج على التمييز بين الفئات المتزامنة فقط، مما يبسط الهدف التعلمي لعملية إنشاء التسميات الوهمية. ثانيًا، نقترح طريقة تدريب متقدم متقاطع (PCT) لبناء إشراف متبادل بين شبكتين باستخدام آلية تقييم ديناميكية، والتي تُدخل تدريجيًا التنبؤات عالية الجودة كإشراف إضافي لتدريب الشبكة. تُحسّن طريقة العملنا بشكل كبير من جودة التسميات الوهمية المنتجة في البيئة التي تفتقر إلى التسميات المحدودة جدًا. أظهرت التجارب الواسعة أن منهجنا يتفوق بشكل ملحوظ على أحدث الطرق المطروحة في هذا المجال.