PANet : Segmentation sémantique d'images avec alignement de prototypes

Malgré les progrès considérables réalisés par les CNN profonds dans le domaine de la segmentation sémantique d'images, ils nécessitent généralement un grand nombre d'images annotées de manière dense pour l'entraînement et ont du mal à généraliser aux catégories d'objets inconnues. La segmentation à faible nombre de tirages (few-shot segmentation) a donc été développée pour apprendre à effectuer la segmentation à partir de seulement quelques exemples annotés. Dans cet article, nous abordons le problème difficile de la segmentation à faible nombre de tirages sous l'angle de l'apprentissage métrique et présentons PANet, un nouveau réseau d'alignement de prototypes conçu pour mieux exploiter les informations du jeu d'appui (support set). Notre PANet apprend des représentations prototypiques spécifiques à chaque classe à partir de quelques images d'appui dans un espace d'embedding, puis effectue la segmentation des images requêtes en faisant correspondre chaque pixel aux prototypes appris. Grâce à l'apprentissage métrique non paramétrique, PANet fournit des prototypes de haute qualité qui sont représentatifs pour chaque classe sémantique tout en étant discriminants entre les différentes classes. De plus, PANet introduit une régularisation d'alignement de prototypes entre le jeu d'appui et les images requêtes. Avec cette approche, PANet exploite pleinement les connaissances issues du jeu d'appui et offre une meilleure généralisation pour la segmentation à faible nombre de tirages. Notamment, notre modèle atteint des scores mIoU de 48,1 % et 55,7 % sur PASCAL-5i pour les configurations 1-shot et 5-shot respectivement, surpassant ainsi la méthode actuelle la plus avancée (state-of-the-art) de 1,8 % et 8,6 %.