Réseaux de graphes pyramidaux avec attentions de connexion pour la segmentation sémantique one-shot basée sur les régions

La segmentation d’image à un seul exemple vise à réaliser la tâche de segmentation d’une nouvelle classe à partir d’un unique exemple d’entraînement. La difficulté réside dans le fait que la segmentation d’image repose sur des représentations structurées des données, ce qui engendre un problème de propagation d’informations à plusieurs correspondances (many-to-many). Les méthodes précédentes simplifient souvent ce problème en un problème à une seule correspondance (one-to-many) en réduisant les données d’appui à un descripteur global. Toutefois, une représentation globale combinée perd la structure des données ainsi que les informations propres à chaque élément. Dans ce travail, nous proposons de modéliser les données structurées de segmentation à l’aide de graphes et d’appliquer un raisonnement graphique attentif pour propager les informations d’étiquetage des données d’appui vers les données de requête. Le mécanisme d’attention sur graphe permet d’établir des correspondances élément à élément au sein des données structurées en apprenant des poids d’attention entre les nœuds connectés du graphe. Pour capturer des correspondances à différents niveaux sémantiques, nous introduisons également une structure en pyramide qui modélise des régions d’image de tailles variées comme des nœuds de graphe et réalise un raisonnement graphique à plusieurs niveaux. Les expériences menées sur le jeu de données PASCAL VOC 2012 démontrent que le réseau proposé surpasse significativement la méthode de référence et atteint une nouvelle performance de pointe sur les benchmarks de segmentation à un exemple (1-shot) et à cinq exemples (5-shot).