Apprentissage faiblement supervisé de la segmentation d'instances avec des relations inter-pixels

Ce document présente une nouvelle approche pour l'apprentissage de la segmentation d'instances avec des étiquettes de classe au niveau de l'image comme supervision. Notre méthode génère des étiquettes de segmentation d'instances pseudo (pseudo instance segmentation labels) pour les images d'entraînement, qui sont ensuite utilisées pour former un modèle entièrement supervisé. Pour générer ces étiquettes pseudo, nous identifions d'abord les zones de graines fiables (confident seed areas) des classes d'objets à partir des cartes d'attention d'un modèle de classification d'images, puis nous les propageons pour découvrir l'intégralité des zones d'instances avec des frontières précises. À cette fin, nous proposons IRNet, un réseau qui estime les zones approximatives des instances individuelles et détecte les frontières entre différentes classes d'objets. Cela permet donc d'attribuer des étiquettes d'instances aux graines et de les propager au sein des frontières afin que l'intégralité des zones d'instances puisse être estimée avec précision. De plus, IRNet est formé en utilisant les relations inter-pixels sur les cartes d'attention, ce qui élimine le besoin de supervision supplémentaire. Notre méthode utilisant IRNet obtient une performance remarquable sur le jeu de données PASCAL VOC 2012, surpassant non seulement les précédentes méthodes entraînées avec le même niveau de supervision, mais aussi certaines modèles précédents s'appuyant sur une supervision plus forte.