استكشاف البروتوتايب المُحدَّد بالصورة ذاتية التعلّم للتقسيم الدلالي المُراقب ضعيفًا

التحليل الشكلي المُراقب بشكل ضعيف (WSSS) المستند إلى تسميات على مستوى الصورة قد لاقى اهتمامًا كبيرًا بفضل تكاليف التسمية المنخفضة. تعتمد الطرق الحالية غالبًا على خريطة التنشيط الفئة (CAM)، التي تقيس الارتباط بين بكسلات الصورة وأوزان المصنف. ومع ذلك، فإن المصنف يركز فقط على المناطق التمييزية، بينما يتجاهل المعلومات المفيدة الأخرى في كل صورة، مما يؤدي إلى خرائط تعيين غير كاملة. لمعالجة هذه المشكلة، نقترح طريقة استكشاف بروتوكول ذاتي مخصص للصورة (SIPE)، والتي تتضمن استكشاف بروتوكول مخصص للصورة (IPE) ووظيفة فقدان اتساق عام-محدد (GSC). بشكل خاص، يُعد IPE تخصيص بروتوكولات لكل صورة لالتقاط المناطق الكاملة، ويُنتج ما نسميه خريطة تنشيط مخصصة للصورة (IS-CAM)، والتي تُنفَّذ عبر خطوتين متتاليتين. علاوةً على ذلك، تم اقتراح GSC لبناء اتساق بين خريطة التنشيط العامة وIS-CAM المخصصة لدينا، مما يُحسّن تمثيل الميزات بشكل إضافي ويمنح قدرة التصحيح الذاتي على استكشاف البروتوكولات. أُجريت تجارب واسعة على معايير التحليل الشكلي PASCAL VOC 2012 وMS COCO 2014، وأظهرت النتائج أن SIPE تحقق أداءً جديدًا من أعلى المستويات باستخدام فقط تسميات على مستوى الصورة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/chenqi1126/SIPE.