Extraction de classes latentes pour la segmentation à faible exemple

La segmentation à peu de exemples (FSS) vise à segmenter des classes non vues à partir d’un nombre très restreint d’échantillons annotés. Les méthodes existantes souffrent d’un problème de dégradation des caractéristiques, à savoir que des classes nouvelles potentielles sont traitées comme du fond pendant la phase d’entraînement. Notre méthode vise à atténuer ce problème et à améliorer l’encodage des caractéristiques des classes nouvelles latentes. Dans notre travail, nous proposons un cadre d’entraînement conjoint innovant. En s’appuyant sur l’entraînement épisodique classique basé sur des paires support-interrogation, nous introduisons une branche supplémentaire d’extraction qui exploite les classes nouvelles latentes à travers des sous-classes transférables, ainsi qu’une nouvelle technique de rectification appliquée aussi bien aux catégories de fond qu’aux catégories de premier plan, afin de renforcer la stabilité des prototypes. En outre, notre sous-classe transférable permet d’exploiter des données non étiquetées supplémentaires pour une amélioration ultérieure des caractéristiques. Des expériences étendues sur deux benchmarks FSS montrent que notre méthode dépasse largement les états de l’art précédents, avec une amélioration de 3,7 % en mIOU sur PASCAL-5i et de 7,0 % en mIOU sur COCO-20i, tout en nécessitant 74 % de paramètres en moins et une vitesse d’inférence 2,5 fois plus rapide. Le code source est disponible à l’adresse suivante : https://github.com/LiheYoung/MiningFSS.