Amélioration des performances des segmentateurs existants grâce à des segmentateurs zero-shot

Cette étude explore le potentiel d’utiliser le segmentateur SAM afin d’améliorer les performances des méthodes existantes en segmentation. SAM est un système de segmentation pilotable (promptable) offrant une généralisation zéro-shot à des objets et images inconnus, sans nécessiter d’entraînement supplémentaire. La nature open source de SAM sur GitHub permet un accès facile et une implémentation simplifiée. Dans nos expériences, nous visons à améliorer les performances de segmentation en fournissant à SAM des points de contrôle extraits à partir des masques produits par DeepLabv3+, puis en combinant ces masques avec ceux fournis par les deux réseaux. Par ailleurs, nous examinons la méthode dite « oracle » (en tant que borne supérieure de référence), dans laquelle les masques de segmentation sont uniquement inférés par SAM à partir de points de contrôle extraits des vérités terrain. En outre, nous avons testé une combinaison d’ensembles de transformateurs PVTv2 sur le jeu de données CAMO ; l’association de cet ensemble avec SAM permet d’atteindre des performances de pointe sur ce jeu de données. Les résultats de notre étude offrent des perspectives précieuses sur l’intégration du segmentateur SAM dans les techniques existantes de segmentation. Nous rendons disponible, en lien avec cet article, une implémentation open source de notre méthode.