Command Palette
Search for a command to run...
GETAM: خريطة انتباه التحويلة العنصرية الموزونة بالانحدار للفصل الدلالي المراقب الضعيف
GETAM: خريطة انتباه التحويلة العنصرية الموزونة بالانحدار للفصل الدلالي المراقب الضعيف
Weixuan Sun Jing Zhang Zheyuan Liu Yiran Zhong Nick Barnes
الملخص
يُعد التجزئة الدلالية المُراقبة ضعيفًا (WSSS) تحديًا كبيرًا، خاصةً عند استخدام التسميات على مستوى الصورة لتقديم المراقبة للتنبؤ على مستوى البكسل. ولسد الفجوة بين هذين المستويين، يتم عادةً إنشاء خريطة تنشيط الفئة (CAM) لتوفير تسميات وهمية على مستوى البكسل. ومع ذلك، تعاني خرائط CAM في الشبكات العصبية التلافيفية (CNN) من ظاهرة التنشيط الجزئي، أي أن فقط المناطق الأكثر تمييزًا تُنشط، بينما تظل مناطق أخرى من الكائن غير مُشغَّلة. أما الطرق القائمة على المحولات (Transformers)، فهي فعّالة جدًا في استكشاف السياق العالمي من خلال نمذجة الاعتماد على مدى طويل، مما قد يخفف من مشكلة "التنشيط الجزئي". في هذه الورقة، نُقدّم أول نهج مبني على المحولات لـ WSSS، ونُقدّم خريطة انتباه المحول الموزون بالتقريب (GETAM). تُظهر GETAM تنشيطًا بدقة عالية لجميع عناصر الخريطة المميزة، وتكشف عن أجزاء مختلفة من الكائن عبر طبقات المحولات المختلفة. علاوةً على ذلك، نقترح وحدة مُكملة للعلامات مُتَعَلِّمة بالتنشيط، لتوليد تسميات وهمية عالية الجودة. وأخيرًا، ندمج هذه الأساليب في إطار عمل متكامل يعتمد على التغذية العكسية المزدوجة (double backward propagation) لـ WSSS. أظهرت التجارب الواسعة على مجموعتي بيانات PASCAL VOC وCOCO أن نتائجنا تتفوّق بشكل ملحوظ على أفضل النماذج المتكاملة (end-to-end) الحالية، وتفوق معظم الطرق متعددة المراحل.