Squeeze d'hypercorrélation pour la segmentation à faible exemplaire

La segmentation sémantique à peu de exemples vise à apprendre à segmenter un objet cible à partir d'une image requête en ne disposant que de quelques images de support annotées pour cette classe cible. Cette tâche exigeante nécessite de comprendre des indices visuels à divers niveaux et d'analyser les relations de correspondance fines entre l'image requête et les images de support. Pour résoudre ce problème, nous proposons un réseau appelé Hypercorrelation Squeeze Networks (HSNet), qui exploite la corrélation multi-niveaux des caractéristiques ainsi que des convolutions 4D efficaces. Le modèle extrait des caractéristiques diversifiées à partir de différents niveaux de couches convolutionnelles intermédiaires et construit une collection de tenseurs de corrélation 4D, appelés hypercorrélations. En utilisant des convolutions 4D efficaces centrées sur un pivot dans une architecture pyramidale, la méthode comprime progressivement, de manière grossière à fine, les indices sémantiques de haut niveau et les indices géométriques de bas niveau contenus dans les hypercorrélations afin d’obtenir des masques de segmentation précis. Les améliorations significatives de performance observées sur les benchmarks standards de segmentation à peu de exemples — PASCAL-5i, COCO-20i et FSS-1000 — confirment l’efficacité de la méthode proposée.