MSANet: التوجيه متعدد التشابه والانتباه لتعزيز التجزئة القليلة المثال

يهدف التجزئة القليلة الأمثل (Few-shot segmentation) إلى تجزئة كائنات من فئات غير مرئية، مع توفر عدد قليل جدًا من العينات المُعلَّمة بشكل كثيف. وقد استُخدمت تقنية تعلم النماذج (Prototype learning) على نطاق واسع في التجزئة القليلة الأمثل (FSS)، حيث يتم استخلاص نموذج واحد أو عدة نماذج من خلال متوسط معلومات الكائن على المستوى العالمي والمحلي من ميزات الدعم. ومع ذلك، قد يكون الاعتماد فقط على متجهات النموذج غير كافٍ لتمثيل الميزات لجميع بيانات التدريب. ولاستخلاص ميزات غنية وتحقيق تنبؤات أكثر دقة، نقترح شبكة متعددة التشابه والانتباه (MSANet)، والتي تضم وحدتين جديدتين: وحدة التشابه المتعددة (multi-similarity module) ووحدة الانتباه (attention module). تُستخدم وحدة التشابه المتعددة في استغلال خرائط الميزات المتعددة للصور الداعمة والصور الاستقصائية لتقدير علاقات معنوية دقيقة. بينما توجّه وحدة الانتباه الشبكة إلى التركيز على المعلومات المرتبطة بالفئة. وقد تم اختبار الشبكة على مجموعات بيانات قياسية للتجزئة القليلة الأمثل (FSS)، وهي PASCAL-5i 1-shot وPASCAL-5i 5-shot وCOCO-20i 1-shot وCOCO-20i 5-shot. حققت شبكة MSANet، باستخدام معمارية ResNet-101 كأساس، أفضل أداء مُسجَّل (state-of-the-art) على جميع مجموعات البيانات الأربع، بقيمة متوسطة لتقاطع الإUnion (mIoU) تبلغ 69.13% و73.99% و51.09% و56.80% على التوالي. يمكن الوصول إلى الكود عبر الرابط: https://github.com/AIVResearch/MSANet