CorrMatch: انتشار التسمية من خلال مطابقة الارتباط للتقسيم المعني شبه المُعلَّم

تُقدّم هذه الورقة منهجية بسيطة ولكن فعّالة للتصنيف الدلالي شبه المُدرّب تُسمّى CorrMatch. تعتمد الطرق السابقة بشكل رئيسي على استراتيجيات تدريب معقدة لاستغلال البيانات غير المُعلّمة، لكنها تتجاهل دور خرائط الارتباط في نمذجة العلاقات بين أزواج من المواقع. لاحظنا أن خرائط الارتباط لا تُمكّن فقط من تجميع البكسلات ذات الفئة نفسها بسهولة، بل تحتوي أيضًا على معلومات جيدة حول الشكل، وهي معلومات تم تجاهلها في الدراسات السابقة. مستوحاة من هذه الملاحظات، نهدف إلى تحسين كفاءة استخدام البيانات غير المُعلّمة من خلال تصميم استراتيجيتين جديدتين لنقل التسميات. أولاً، نقترح إجراء نقل البكسلات من خلال نمذجة التشابهات الزوجية بين البكسلات لتوسيع نطاق البكسلات ذات الثقة العالية واستخلاص المزيد منها. ثانيًا، نقوم بنقل المناطق لتعزيز التسميات الوهمية باستخدام أقنعة خالية من الفئة (class-agnostic masks) دقيقة تم استخلاصها من خرائط الارتباط. تُظهر CorrMatch أداءً ممتازًا على معايير تصنيف شهيرة. وباستخدام نموذج التصنيف DeepLabV3+ مع هيكل ResNet-101، نحقق نتيجة mIoU تزيد عن 76% على مجموعة بيانات Pascal VOC 2012 باستخدام فقط 92 صورة مُعلّمة. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/BBBBchan/CorrMatch.