Au-delà de la segmentation sémantique à la segmentation d'instances : Segmentation d'instances faiblement supervisée par transfert de connaissances sémantiques et raffinement auto-supervisé

La segmentation d'instances faiblement supervisée (WSIS) est considérée comme une tâche plus difficile que la segmentation sémantique faiblement supervisée (WSSS). Par rapport à la WSSS, la WSIS nécessite une localisation par instance, ce qui est difficile à extraire à partir de labels au niveau de l'image. Pour résoudre ce problème, la plupart des approches de WSIS utilisent des techniques de proposition prêtes à l'emploi qui nécessitent un pré-entraînement avec des labels au niveau des instances ou des objets, déviant ainsi de la définition fondamentale du cadre entièrement supervisé au niveau de l'image. Dans cet article, nous proposons une nouvelle approche comprenant deux composants innovants. Premièrement, nous proposons un transfert de connaissances sémantiques pour obtenir des labels d'instances pseudo en transférant les connaissances de la WSSS à la WSIS tout en éliminant le besoin de propositions prêtes à l'emploi. Deuxièmement, nous proposons une méthode d'autoraffinement pour raffiner les labels d'instances pseudo dans un schéma auto-supervisé et utiliser ces labels raffinés pour l'entraînement en ligne. Ici, nous découvrons un phénomène erroné, le décalage sémantique (semantic drift), qui se produit en raison des instances manquantes dans les labels d'instances pseudo catégorisées comme classe de fond. Ce décalage sémantique entraîne une confusion entre le fond et les instances lors de l'entraînement et dégrade par conséquent les performances de segmentation. Nous qualifions ce problème de problème de décalage sémantique et montrons que notre méthode d'autoraffinement proposée élimine ce problème. Les expériences approfondies sur PASCAL VOC 2012 et MS COCO démontrent l'efficacité de notre approche, et nous obtenons des performances notables sans recourir aux techniques de proposition prêtes à l'emploi. Le code est disponible sur https://github.com/clovaai/BESTIE.