HyperAIHyperAI
il y a 11 jours

Segmentation sémantique à faible exemplaire auto-entraînable

Qi Fan, Wenjie Pei, Yu-Wing Tai, Chi-Keung Tang
Segmentation sémantique à faible exemplaire auto-entraînable
Résumé

Les méthodes existantes de segmentation à faible exemplaire ont atteint des progrès considérables grâce au cadre de correspondance entre supports et requêtes. Toutefois, elles souffrent encore fortement de la couverture limitée des variations intra-classe provenant des supports à faible exemplaire fournis. Inspirés par le principe simple de la Gestalt selon lequel les pixels appartenant au même objet sont plus similaires entre eux que les pixels d’objets différents de même classe, nous proposons une nouvelle stratégie de correspondance auto-support, visant à atténuer ce problème. Cette approche utilise des prototypes de requête pour correspondre aux caractéristiques de requête, où ces prototypes sont extraits à partir des prédictions de requête à haute confiance. Cette stratégie permet efficacement de capturer les caractéristiques sous-jacentes cohérentes des objets de requête, permettant ainsi une correspondance plus adéquate des caractéristiques de requête. Nous introduisons également un module de génération adaptative de prototype de fond auto-support et une fonction de perte auto-support, afin de renforcer davantage le processus de correspondance auto-support. Notre réseau auto-support améliore significativement la qualité des prototypes, bénéficie davantage de réseaux de base plus puissants et d’un plus grand nombre de supports, et atteint l’état de l’art sur plusieurs jeux de données. Le code est disponible à l’adresse \url{https://github.com/fanq15/SSP}.