HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau d'attention croisée auto-calibrée pour la segmentation à faible exemplaire

Qianxiong Xu Wenting Zhao Guosheng Lin Cheng Long

Résumé

Le succès du segmentage à très peu d'exemples (few-shot segmentation, FSS) repose essentiellement sur la manière dont les échantillons de support sont exploités efficacement. La plupart des approches compressent les caractéristiques du fond avant (foreground, FG) du support en prototypes, mais perdent ainsi certaines informations spatiales détaillées. À l'inverse, d'autres méthodes utilisent une attention croisée pour fusionner les caractéristiques de requête avec les caractéristiques de support non compressées. Bien que les caractéristiques FG de la requête puissent être fusionnées avec celles du FG de support, les caractéristiques BG de la requête ne trouvent pas de correspondance dans les caractéristiques BG du support, et s'intègrent néanmoins à des éléments non similaires. En outre, puisque les caractéristiques FG et BG de la requête sont toutes deux combinées avec celles du FG de support, elles entrent en interaction, entraînant une confusion qui nuit à la qualité de la segmentation. Pour surmonter ces limitations, nous proposons un bloc d'attention croisée auto-calibrée (self-calibrated cross attention, SCCA). Afin d'assurer une attention efficace basée sur des patches, les caractéristiques de requête et de support sont d'abord divisées en patches. Ensuite, nous introduisons un module d'alignement de patches qui associe chaque patch de requête à son patch de support le plus similaire, afin d'améliorer la qualité de l'attention croisée. Plus précisément, le SCCA prend un patch de requête comme vecteur Q, et regroupe les patches provenant de la même image de requête ainsi que les patches alignés de l'image de support comme vecteurs K et V. Ainsi, les caractéristiques BG de la requête sont fusionnées avec des caractéristiques BG correspondantes (issues des patches de requête), ce qui atténue efficacement les problèmes mentionnés. Par ailleurs, dans le calcul du SCCA, nous avons conçu un mécanisme à cosinus normalisé afin d'améliorer l'utilisation des caractéristiques de support pour l'évaluation de similarité. Des expérimentations étendues sur les jeux de données PASCAL-5^i et COCO-20^i démontrent la supériorité de notre modèle : par exemple, le score mIoU dans le cadre de 5-exemples sur COCO-20^i est supérieur de 5,6 % à celui des meilleures méthodes précédentes. Le code source est disponible à l'adresse suivante : https://github.com/Sam1224/SCCAN.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau d'attention croisée auto-calibrée pour la segmentation à faible exemplaire | Articles | HyperAI