شبكة الانتباه الذاتي الموجهة بالتحفيز للتقسيم الدلالي الضعيف والشبه المراقب

التقسيم الدلالي الضعيف التدريب (WSSS) باستخدام علامات مستوى الصورة فقط يمكن أن يقلل بشكل كبير من تكلفة التسمية، وبالتالي جذب اهتمامًا بحثيًا كبيرًا. ومع ذلك، لا يزال أداؤه أدنى من نظيره المدرب بشكل كامل. ولتقليل الفجوة في الأداء، نقترح شبكة انتباه ذاتي موجهة بالملحوظة (SGAN) لمعالجة مشكلة WSSS. يمتلك الميكانيزم المُقدَّم للانتباه الذاتي القدرة على التقاط معلومات سياقية غنية وشاملة، لكنه قد يُنَشِّط الانتباه بشكل خاطئ في مناطق غير متوقعة. ولتمكين هذا الميكانيزم من العمل بكفاءة تحت ظروف التدريب الضعيف، ندمج مُعطيات أولية للملحوظة غير مرتبطة بالفئة داخل ميكانيزم الانتباه الذاتي، ونستخدم إشارات انتباه محددة بالفئة كمصدر إضافي للإشراف لشبكة SGAN. تُمكن SGAN من إنتاج إشارات تحليل مكاني كثيفة ودقيقة، مما يعزز أداء التقسيم. علاوةً على ذلك، وباستبدال مصادر الإشراف الإضافية ببيانات حقيقية جزئية، تعمل SGAN بكفاءة أيضًا في التقسيم الدلالي شبه المدرب. أظهرت التجارب على مجموعتي بيانات PASCAL VOC 2012 وCOCO أن منهجنا يتفوق على جميع الطرق الرائدة الأخرى في كلا البيئتين الضعيفة والشبه المدربة.