تعزيز التجزئة الدلالية غير المراقبة باستخدام مقترحات القناع الرئيسية

التمييز الدلالي غير المشرف يهدف إلى تقسيم الصور تلقائيًا إلى مناطق ذات معنى دلالي من خلال تحديد الفئات الدلالية العالمية ضمن مكتبة صور دون أي شكل من أشكال التسمية. اعتمادًا على التقدم الحديث في تعلم التمثيل الذاتي، نركز على كيفية الاستفادة من هذه النماذج المدربة مسبقًا الكبيرة للأعمال اللاحقة المتعلقة بالتمييز غير المشرف. نقدم PriMaPs (مقترحات القناع الرئيسية) - وهي تقنية لتفكيك الصور إلى أقنعة ذات معنى دلالي بناءً على تمثيلها الخاص بالميزات. هذا يتيح لنا تحقيق التمييز الدلالي غير المشرف عن طريق مطابقة نماذج الفئات مع PriMaPs باستخدام خوارزمية توقع الحد الأقصى العشوائية، PriMaPs-EM. رغم بساطتها المفهومية، فإن PriMaPs-EM تؤدي إلى نتائج تنافسية عبر مجموعة متنوعة من النماذج الأساسية المدربة مسبقًا، بما في ذلك DINO و DINOv2، وفي مختلف البيانات مثل Cityscapes و COCO-Stuff و Potsdam-3. من الأهم أن PriMaPs-EM قادرة على تعزيز النتائج عند تطبيقها بشكل مستقيم على خطوط الأنابيب الحالية الأكثر تقدمًا في مجال التمييز الدلالي غير المشرف. الرمز البرمجي متاح على https://github.com/visinf/primaps.