Réseau d'attention croisée auto-calibrée pour la segmentation à faible exemplaire

Le succès du segmentage à très peu d'exemples (few-shot segmentation, FSS) repose essentiellement sur la manière dont les échantillons de support sont exploités efficacement. La plupart des approches compressent les caractéristiques du fond avant (foreground, FG) du support en prototypes, mais perdent ainsi certaines informations spatiales détaillées. À l'inverse, d'autres méthodes utilisent une attention croisée pour fusionner les caractéristiques de requête avec les caractéristiques de support non compressées. Bien que les caractéristiques FG de la requête puissent être fusionnées avec celles du FG de support, les caractéristiques BG de la requête ne trouvent pas de correspondance dans les caractéristiques BG du support, et s'intègrent néanmoins à des éléments non similaires. En outre, puisque les caractéristiques FG et BG de la requête sont toutes deux combinées avec celles du FG de support, elles entrent en interaction, entraînant une confusion qui nuit à la qualité de la segmentation. Pour surmonter ces limitations, nous proposons un bloc d'attention croisée auto-calibrée (self-calibrated cross attention, SCCA). Afin d'assurer une attention efficace basée sur des patches, les caractéristiques de requête et de support sont d'abord divisées en patches. Ensuite, nous introduisons un module d'alignement de patches qui associe chaque patch de requête à son patch de support le plus similaire, afin d'améliorer la qualité de l'attention croisée. Plus précisément, le SCCA prend un patch de requête comme vecteur Q, et regroupe les patches provenant de la même image de requête ainsi que les patches alignés de l'image de support comme vecteurs K et V. Ainsi, les caractéristiques BG de la requête sont fusionnées avec des caractéristiques BG correspondantes (issues des patches de requête), ce qui atténue efficacement les problèmes mentionnés. Par ailleurs, dans le calcul du SCCA, nous avons conçu un mécanisme à cosinus normalisé afin d'améliorer l'utilisation des caractéristiques de support pour l'évaluation de similarité. Des expérimentations étendues sur les jeux de données PASCAL-5^i et COCO-20^i démontrent la supériorité de notre modèle : par exemple, le score mIoU dans le cadre de 5-exemples sur COCO-20^i est supérieur de 5,6 % à celui des meilleures méthodes précédentes. Le code source est disponible à l'adresse suivante : https://github.com/Sam1224/SCCAN.