التفكيك الدلالي غير المراقب من خلال استخلاص التقابلات المميزة

تهدف التجزئة الشاملة المعتمدة على المعنى دون إشراف إلى اكتشاف وتحديد الفئات ذات المعنى المعنوي داخل مجموعات صور دون الحاجة إلى أي نوع من التسمية. لحل هذه المهمة، يجب على الخوارزميات إنتاج سمات لكل بكسل تكون ذات معنى معنوي ومتراصة بما يكفي لتكوين مجموعات متميزة. على عكس الدراسات السابقة التي تحقق هذا الهدف من خلال إطار عمل واحد متكامل من البداية إلى النهاية، نقترح فصل تعلم السمات عن عملية تجميع المجموعات. من خلال التجريب، نوضح أن أطر تعلم السمات دون إشراف الحالية تُنتج بالفعل سمات كثيفة تكون ترابطاتها متسقة من الناحية المعنوية. يُحفّز هذا الملاحظة على تصميم إطار عمل جديد يُسمى STEGO (مُحَوِّل ذاتي التدريب مع تحسين رسم بياني مبني على الطاقة)، والذي يُلْتَقِط من خلاله السمات دون إشراف إلى تسميات معنوية منفصلة عالية الجودة. ويجسد قلب STEGO دالة خسارة تباينية جديدة تشجع السمات على تكوين مجموعات متراصة مع الحفاظ على علاقاتها عبر المجموعة الكاملة. يُحقّق STEGO تحسينًا كبيرًا مقارنةً بأفضل الأطر السابقة، على تحديات التجزئة المعنوية CocoStuff (+14 mIoU) وCityscapes (+9 mIoU).