HM : Masquage hybride pour la segmentation en peu d'exemples

Nous étudions la segmentation sémantique à faible exemplaire (few-shot semantic segmentation), qui vise à segmenter un objet cible à partir d'une image de requête, en se basant sur un petit nombre d'images de support annotées pour la classe cible. Plusieurs méthodes récentes recourent à une technique de masquage de caractéristiques (feature masking, FM) afin d’éliminer les activations de caractéristiques non pertinentes, ce qui favorise finalement une prédiction fiable du masque de segmentation. Une limitation fondamentale de la FM réside dans sa capacité limitée à préserver les détails spatiaux fins, qui influencent directement la précision du masque de segmentation, en particulier pour les objets cibles de petite taille. Dans cet article, nous proposons une approche simple, efficace et performante pour améliorer le masquage de caractéristiques (FM). Nous désignons cette version améliorée par le masquage hybride (hybrid masking, HM). Plus précisément, nous compensons la perte de détails spatiaux fins inhérente à la technique FM en explorant et en exploitant une méthode de masquage de base complémentaire. Des expériences ont été menées sur trois benchmarks publics dotés de baselines solides pour la segmentation à faible exemplaire (FSS). Nos résultats expérimentaux démontrent de manière claire une amélioration significative par rapport aux méthodes de l’état de l’art actuelles, sur différents benchmarks. Le code source et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/moonsh/HM-Hybrid-Masking