Une Base Solide pour la Segmentation Sémantique Généralisée en Few-Shot

Ce document présente un cadre généralisé de segmentation à faible supervision (few-shot segmentation) doté d'un processus d'entraînement simple et d'une phase d'inférence facile à optimiser. Plus particulièrement, nous proposons un modèle simple mais efficace basé sur le principe bien connu de l'InfoMax, où l'Information Mutuelle (IM) entre les représentations de caractéristiques apprises et leurs prédictions correspondantes est maximisée. De plus, les termes dérivés de notre formulation basée sur l'IM sont associés à un terme de distillation des connaissances pour conserver les connaissances relatives aux classes de base. Grâce à un processus d'entraînement simplifié, notre modèle d'inférence peut être appliqué sur n'importe quel réseau de segmentation entraîné sur des classes de base. Le modèle d'inférence proposé apporte des améliorations substantielles sur les benchmarks populaires de segmentation à faible supervision, PASCAL-$5^i$ et COCO-$20^i$. En particulier, pour les classes inédites, les gains d'amélioration varient de 7% à 26% (PASCAL-$5^i$) et de 3% à 12% (COCO-$20^i$) dans les scénarios 1-shot et 5-shot, respectivement. De plus, nous proposons un cadre plus difficile, où les écarts de performance sont encore accentués. Notre code est disponible au public sur https://github.com/sinahmr/DIaM.