Modèles de mélanges de prototypes pour la segmentation sémantique à faible exemplaire

La segmentation à peu de exemples est un défi car les objets présents dans les images de support et celles de requête peuvent différer fortement en apparence et en posture. L’utilisation d’un seul prototype extrait directement de l’image de support pour segmenter l’image de requête entraîne une ambiguïté sémantique. Dans cet article, nous proposons des modèles de mélanges de prototypes (PMMs), qui associent des régions diverses d’une image à plusieurs prototypes afin de renforcer la représentation sémantique fondée sur les prototypes. Estimés à l’aide d’un algorithme d’expectation-maximisation, les PMMs intègrent des informations riches en termes de canaux et de spatialité à partir d’un nombre limité d’images de support. Utilisés à la fois comme représentations et comme classifieurs, les PMMs exploite pleinement les informations sémantiques pour activer les objets dans l’image de requête tout en atténuant les régions de fond de manière doublement efficace. Des expériences étendues sur les jeux de données Pascal VOC et MS-COCO montrent que les PMMs surpassent significativement les méthodes de pointe. En particulier, les PMMs améliorent la performance de la segmentation à 5 exemples sur MS-COCO de jusqu’à 5,82 %, avec un coût modéré en taille de modèle et en vitesse d’inférence.