MSANet : Multi-Similarity et Guidance par Attention pour Améliorer la Segmentation à Peu de Fiches

La segmentation à peu de exemples (few-shot segmentation, FSS) vise à segmenter des objets appartenant à des classes inconnues à partir d’un nombre très limité d’exemples soigneusement annotés. L’apprentissage de prototypes, qui consiste à générer un ou plusieurs prototypes à partir des caractéristiques d’image de support en moyennant les informations globales et locales des objets, est largement utilisé dans le cadre de la FSS. Toutefois, l’utilisation exclusive de vecteurs de prototypes peut s’avérer insuffisante pour représenter adéquatement les caractéristiques de l’ensemble des données d’entraînement. Afin d’extraire des caractéristiques riches et d’obtenir des prédictions plus précises, nous proposons un réseau Multi-Similarity and Attention Network (MSANet), comprenant deux modules novateurs : un module de multi-similarité et un module d’attention. Le module de multi-similarité exploite plusieurs cartes de caractéristiques provenant des images de support et des images de requête afin d’estimer avec précision les relations sémantiques. Le module d’attention guide le réseau pour se concentrer sur les informations pertinentes par rapport à la classe. Le réseau a été évalué sur des jeux de données standard de FSS : PASCAL-5i 1-shot, PASCAL-5i 5-shot, COCO-20i 1-shot et COCO-20i 5-shot. Avec le modèle de base ResNet-101, MSANet atteint des performances de pointe sur les quatre benchmarks, avec des scores moyens d’intersection sur union (mIoU) respectifs de 69,13 %, 73,99 %, 51,09 % et 56,80 %. Le code source est disponible à l’adresse suivante : https://github.com/AIVResearch/MSANet