القناع الظاهري يهم في التجزئة الدلالية ذات التوجيه الضعيف

تتبع معظم طرق التجزئة الدلالية الضعيفة التدريب (WSSS) مسارًا يُولِّد فيه قناعًا افتراضيًا في البداية، ثم يُدرّب نموذج التجزئة باستخدام هذا القناع الافتراضي بطريقة مراقبة بالكامل. ومع ذلك، نلاحظ وجود بعض القضايا المتعلقة بالقناع الافتراضي، بما في ذلك توليد قناع افتراضي عالي الجودة من خرائط التنشيط الفئة (CAMs)، وتدريب النموذج مع مراقبة قناع افتراضي مُشوَّش. ولحل هذه القضايا، نقترح التصاميم التالية لدفع الأداء إلى مستوى جديد من التميز: (i) تمويه معامل التباين (Coefficient of Variation Smoothing) لتنعيم خرائط التنشيط الفئة بشكل تكيفي؛ (ii) توليد قناع افتراضي تناسبي (Proportional Pseudo-mask Generation) لتحويل خرائط التنشيط الموسعة إلى قناع افتراضي بناءً على مقياس جديد يُظهر أهمية كل فئة في كل موقع، بدلًا من استخدام الدرجات الناتجة عن فئات ثنائية التدريب؛ (iii) استراتيجية التقليل المُصطنع من التدريب (Pretended Under-Fitting) لقمع تأثير الضوضاء في القناع الافتراضي؛ (iv) القناع الافتراضي الدوراني (Cyclic Pseudo-mask) لتعزيز جودة القناع الافتراضي أثناء تدريب التجزئة الدلالية المراقبة بالكامل (FSSS). وقد أظهرت التجارب القائمة على منهجياتنا نتائج جديدة من حيث التميز على مجموعتي بيانات صعبة للتجزئة الدلالية الضعيفة التدريب، حيث بلغ متوسط مؤشر التداخل على الوحدة (mIoU) 70.0% و40.2% على مجموعتي بيانات PAS-COCAL VOC 2012 وMS COCO 2014 على التوالي. تم إصدار الشفرات التي تشمل إطار التجزئة على الرابط التالي: https://github.com/Eli-YiLi/PMM