Segmentation Sémantique à Few-Shot Généralisée

L'entraînement de modèles de segmentation sémantique nécessite une grande quantité de données finement annotées, ce qui rend difficile leur adaptation rapide à de nouvelles classes ne satisfaisant pas cette condition. La Segmentation à Peu d'Exemples (FS-Seg) aborde ce problème avec de nombreuses contraintes. Dans cet article, nous présentons un nouveau benchmark appelé Segmentation Sémantique Généralisée à Peu d'Exemples (GFS-Seg), visant à analyser la capacité de généralisation de la segmentation simultanée des nouvelles catégories avec très peu d'exemples et des catégories de base avec suffisamment d'exemples. Il s'agit de la première étude montrant que les méthodes FS-Seg représentatives et précédemment considérées comme l'état de l'art sont insuffisantes en GFS-Seg, et que l'écart de performance provient principalement du cadre contraint de FS-Seg. Pour rendre GFS-Seg réalisable, nous avons établi une ligne de base GFS-Seg qui atteint une performance décente sans modification structurelle du modèle original. Ensuite, étant donné que le contexte est essentiel pour la segmentation sémantique, nous proposons l'apprentissage prototypique contextuel (Context-Aware Prototype Learning, CAPL) qui améliore considérablement les performances en 1) exploitant les connaissances a priori sur la co-occurrence issues des échantillons supports, et 2) enrichissant dynamiquement les informations contextuelles au classifieur, conditionnellement au contenu de chaque image requête. Les deux contributions ont été expérimentalement démontrées comme ayant une valeur pratique substantielle. Des expériences approfondies sur Pascal-VOC et COCO mettent en évidence l'efficacité du CAPL, et celui-ci se généralise bien à FS-Seg en obtenant des performances compétitives. Le code est disponible à l'adresse suivante : https://github.com/dvlab-research/GFS-Seg.