Élimination de l’ambiguïté des caractéristiques pour la segmentation à faible exemple

Les avancées récentes en segmentation à faible exemplaire (few-shot segmentation, FSS) ont exploité le correspondance pixel par pixel entre les caractéristiques de requête et celles de support, généralement fondée sur l’attention croisée (cross attention), qui active sélectivement les caractéristiques de foreground (FG) de la requête correspondant aux caractéristiques de FG du support de même classe. Toutefois, en raison des grands champs réceptifs présents dans les couches profondes du modèle principal (backbone), les caractéristiques de FG extraites pour la requête et le support sont inévitablement mélangées avec des caractéristiques de background (BG), ce qui entrave la correspondance FG-FG dans l’attention croisée. Par conséquent, les caractéristiques de FG de la requête sont fusionnées avec un nombre réduit de caractéristiques de FG du support, c’est-à-dire que les informations du support ne sont pas pleinement exploitées. Ce papier présente un nouveau module plug-in nommé réseau d’élimination de l’ambiguïté (ambiguity elimination network, AENet), pouvant être intégré à tout méthode existante de FSS basée sur l’attention croisée. L’idée principale consiste à identifier les régions de FG de la requête discriminantes afin de corriger les caractéristiques de FG ambigües, augmentant ainsi la proportion d’information de FG et atténuant ainsi les effets négatifs des caractéristiques de BG introduites. De cette manière, la correspondance FG-FG est naturellement renforcée. Nous avons intégré AENet à trois méthodes de référence : CyCTR, SCCAN et HDMNet, et observons des améliorations significatives de leurs performances, par exemple une augmentation de plus de 3,0 % en précision à 1-shot sur les deux jeux de données PASCAL-5$^i$ et COCO-20$^i$ pour SCCAN. Le code source est disponible à l’adresse suivante : https://github.com/Sam1224/AENet.