EAGLE: التعلم بالتكثيف الذاتي للفصل غير المشرف على المعاني

التمييز الدلالي (semantic segmentation) اعتمد بشكل متأصل على بيانات مُشَرَّحة بمستوى البكسل بشكل واسع، مما أدى إلى ظهور منهجيات غير مراقبة. من بينها، الاستفادة من محولات الرؤية ذاتية التدريب (self-supervised Vision Transformers) في التمييز الدلالي غير المراقب (USS) قد حققت تقدماً ثابتاً بفضل الخصائص العميقة التعبيرية. ومع ذلك، يظل التحدي السائد هو نقص الترميز الدلالي الصريح على مستوى الكائنات في خصائص المستوى الفرعي (patch-level). هذا القيد التقني غالباً ما يؤدي إلى تمييز دلالي غير كافٍ للكائنات المعقدة ذات الهياكل المتنوعة. لسد هذه الفجوة، نقدم منهجاً جديداً يُسمى EAGLE، والذي يركز على تعلم تمثيلات مركزية حول الكائنات للتمييز الدلالي غير المراقب. تحديداً، نقدم تقنية الطيف EiCue التي توفر مؤشرات دلالية وبنائية عبر أساس القيم الذاتية (eigenbasis) المستمد من مصفوفة الشبه الدلالي للخصائص العميقة للصورة والتشابه اللوني منها. علاوة على ذلك، عن طريق دمج خسارة التباين المركزية حول الكائنات الخاصة بنا مع EiCue، نوجه نموذجنا لتعلم تمثيلات على مستوى الكائنات مع تناسق خاصيات الكائن داخل الصورة وبين الصور، مما يعزز الدقة الدلالية. تُظهر التجارب الواسعة على مجموعات البيانات COCO-Stuff وCityscapes وPotsdam-3 النتائج الرائدة في مجال USS التي حققها EAGLE مع تمييز دلالي دقيق ومتسق عبر المشاهد المعقدة.