التفكيك الدلالي المراقب بشكل ضعيف من خلال التناقض بين البكسل والنموذج الرمزي

رغم التقدم الكبير الذي حققته التصنيف الضعيف المستند إلى الصورة (WSSS) باستخدام خرائط التنشيط الفئة (CAMs) كأساس، يظل الفجوة الكبيرة في مستوى الإشراف بين التصنيف والتقسيم يشكل عائقًا أمام نموذج إنتاج أقنعة وهمية أكثر شمولاً ودقةً للتقسيم. في هذه الدراسة، نقترح طريقة تُسمى "التمايز الضعيف بين البكسل والبروتوتايب" التي توفر إشارات إشرافية على مستوى البكسل لتقليل هذه الفجوة. تعتمد طريقتنا على معرفتين مبدئيتين واضحتين، وتنفذ عبر وجهات نظر متعددة، وكذلك داخل كل وجهة نظر من وجهات نظر الصورة الواحدة، بهدف تطبيق ت régularisation لاتساق المعنى في الميزات عبر الرؤى المختلفة، وتعزيز الاتساق الداخلي (الانفصال) بين الفئات في فضاء الميزات. يمكن دمج طريقتنا بسلاسة في النماذج الحالية لـ WSSS دون أي تعديل على الشبكات الأساسية، ولا تؤدي إلى أي عبء إضافي أثناء الاستدلال. تُظهر التجارب الواسعة أن طريقتنا تحسن باستمرار نموذجين قويين بفارق كبير، مما يثبت فعاليتها. وبشكل خاص، وباستناد إلى نموذج SEAM، نُحسّن مقياس mIoU الأولي على مجموعة بيانات PASCAL VOC 2012 من 55.4% إلى 61.5%. علاوةً على ذلك، باستخدام طريقتنا، نرفع مقياس mIoU للتقسيم في نموذج EPS من 70.8% إلى 73.6%، محقّقين بذلك أفضل أداء ممكن حتى تاريخه.