استغلال القيم الموجبة المخفية للتصنيف الدلالي غير المراقب

أدى الطلب الكبير على القوى العاملة لوضع علامات على مستوى البكسل إلى ظهور التجزئة(semantic segmentation) غير المراقبة. وعلى الرغم من الأداء المتميز الذي تُظهره الدراسات الحديثة التي تستخدم هيكلًا أساسيًا مبنيًا على نموذج التحويل البصري (ViT)، إلا أن هناك نقصًا حتى الآن في الاهتمام بالإرشادات التدريبية المخصصة للمهمة والاتساق الدلالي المحلي. ولحل هذه المشكلات، نستفيد من التعلم المتناقض (contrastive learning) من خلال استكشاف الإيجابيات المخفية (hidden positives) لتعلم علاقات دلالية غنية وضمان الاتساق الدلالي في المناطق المحلية. بشكل محدد، نكتشف في البداية نوعين من الإيجابيات المخفية العالمية لكل نقطة مرجعية (anchor): إيجابيات عامة غير مرتبطة بالمهمة، وإيجابيات مخصصة للمهمة، وذلك بناءً على تشابه الميزات المحددة بواسطة هيكل أساسي مُدرّب مسبقًا ثابت، ورأس تجزئة قيد التدريب على التوالي. ويزيد التدرج في مساهمة النوع الثاني تدريجيًا، مما يُمكّن النموذج من اكتشاف الميزات الدلالية المخصصة للمهمة. بالإضافة إلى ذلك، نُقدّم استراتيجية لنقل التدرج (gradient propagation) لتعلم الاتساق الدلالي بين المستطيلات المجاورة، وذلك ضمن الافتراض المتأصل بأن المستطيلات القريبة من بعضها غالبًا ما تمتلك نفس الدلالة. بشكل خاص، نُضيف خسارة تنتقل إلى الإيجابيات المخفية المحلية، أي المستطيلات القريبة ذات التشابه الدلالي، بنسب محددة مسبقًا وفقًا لدرجات التشابه المعرفة مسبقًا. وباستخدام هذه استراتيجيات التدريب، يحقق النهج المقترح نتائج جديدة في مستوى الحد الأقصى (SOTA) على مجموعات بيانات COCO-stuff وCityscapes وPotsdam-3. يمكن الوصول إلى الكود الخاص بنا عبر الرابط التالي: https://github.com/hynnsk/HP.