Apprentissage et allocation adaptatifs de prototypes pour la segmentation à faible exemple

L’apprentissage par prototypes est largement utilisé pour la segmentation à faible exemplaire. En général, un seul prototype est obtenu à partir des caractéristiques du support en moyennant l’information globale de l’objet. Toutefois, représenter toutes les informations par un unique prototype peut entraîner des ambiguïtés. Dans cet article, nous proposons deux nouveaux modules, nommés regroupement guidé par superpixels (SGC) et affectation guidée de prototypes (GPA), destinés à l’extraction et à l’affectation de plusieurs prototypes. Plus précisément, SGC est une approche sans paramètre ni entraînement, qui extrait des prototypes plus représentatifs en agrégant des vecteurs de caractéristiques similaires, tandis que GPA permet de sélectionner des prototypes correspondants afin d’offrir une guidance plus précise. En intégrant conjointement SGC et GPA, nous proposons le réseau adaptatif guidé par superpixels (ASGNet), un modèle léger qui s’adapte aux variations d’échelle et de forme des objets. En outre, notre réseau peut facilement s’étendre à la segmentation k-shot avec une amélioration significative et sans coût computationnel supplémentaire. En particulier, nos évaluations sur COCO montrent qu’ASGNet dépasse la méthode de l’état de l’art de 5 % dans la segmentation 5-shot.