Trouvez-le si vous le pouvez : Effacement adversaire bout-en-bout pour la segmentation sémantique faiblement supervisée

La segmentation sémantique est une tâche qui nécessite traditionnellement un grand jeu de données annoté au niveau des pixels, dont l’acquisition est longue et coûteuse. Les avancées récentes dans le cadre de l’apprentissage faiblement supervisé montrent qu’un bon niveau de performance peut être atteint en utilisant uniquement des étiquettes au niveau de l’image. La classification est fréquemment utilisée comme tâche proxy pour entraîner un réseau neuronal profond, à partir duquel des cartes d’attention sont extraites. Toutefois, la tâche de classification ne requiert que la preuve minimale pour effectuer une prédiction, ce qui conduit le modèle à se concentrer sur les régions les plus discriminantes de l’objet. Pour surmonter ce problème, nous proposons une nouvelle formulation de l’effacement adversaire appliqué aux cartes d’attention. Contrairement aux méthodes antérieures d’effacement adversaire, nous optimisons deux réseaux avec des fonctions de perte opposées, ce qui élimine la nécessité de stratégies sous-optimales telles que des étapes d’entraînement multiples, qui compliquent le processus d’apprentissage, ou une politique de partage de poids entre réseaux fonctionnant sur des distributions différentes, qui pourrait être sous-optimale en termes de performance. La solution proposée ne nécessite pas de masques de salience ; elle utilise au contraire une perte de régularisation pour empêcher les cartes d’attention de s’étendre vers des régions de l’objet moins discriminantes. Nos expériences sur le jeu de données Pascal VOC montrent que notre approche adversaire améliore la performance de segmentation de 2,1 mIoU par rapport à notre modèle de base, et de 1,0 mIoU par rapport aux approches antérieures d’effacement adversaire.