DHR: إعادة توازن هرمية مدفوعة بخصائص مزدوجة في المناطق بين الفئات وداخل الفئات للتقسيم الدلالي شبه المشرف عليه

التمييز الدلالي شبه المراقب (WSS) يضمن تقسيمًا عالي الجودة باستخدام بيانات محدودة ويتفوق عند استخدامه كأقنعة بذور مدخلية للنماذج البصرية الكبيرة مثل Segment Anything. ومع ذلك، تواجه WSS تحديات مرتبطة بالفئات الثانوية، حيث يتم تجاهلها في الصور التي تحتوي على فئات متعددة متجاورة، وهو قيد ينشأ من الإفراط في التعلم لطرق التوسع التقليدية مثل Random Walk (المشي العشوائي). نعالج هذا الأمر أولاً من خلال استخدام خرائط الميزات غير المراقبة وشبه المراقبة بدلاً من الأساليب التقليدية، مما يسمح بتحسين الأقنعة بطريقة هرمية. تصنف هذه الطريقة الفئات ذات المستوى الأعلى بشكل واضح وتقوم بعد ذلك بفصل الفئات المرتبطة بها ذات المستوى الأدنى، مما يضمن استعادة جميع الفئات في القناع دون فقدان الفئات الثانوية. تم التحقق من نهجنا عبر تجارب واسعة النطاق، مما أدى إلى تحسين كبير في WSS عبر خمس مقاييس (VOC: 79.8٪، COCO: 53.9٪، Context: 49.0٪، ADE: 32.9٪، Stuff: 37.4٪)، مع تقليص الفجوة مع الطرق المراقبة بالكامل بنسبة تزيد عن 84٪ على مجموعة التحقق من صحة VOC. يمكن الحصول على الكود من https://github.com/shjo-april/DHR.