ReCo : Récupérer et Co-segmenter pour le transfert à zéro shot

La segmentation sémantique possède une gamme d'applications très large, mais son impact dans le monde réel a été considérablement limité par les coûts prohibitifs d'annotation nécessaires à son déploiement. Les méthodes de segmentation qui n'utilisent pas de supervision peuvent contourner ces coûts, mais présentent l'inconvénient de nécessiter des exemples étiquetés provenant de la distribution cible pour attribuer des noms de concepts aux prédictions. Une autre approche dans le domaine du pré-entraînement langage-image a récemment démontré le potentiel de produire des modèles capables d'attribuer des noms à travers de vastes vocabulaires de concepts et d'effectuer un transfert zéro-shot pour la classification, sans toutefois montrer des capacités de segmentation équivalentes. Dans ce travail, nous visons à réaliser une synthèse de ces deux approches en combinant leurs forces. Nous exploitons les capacités de recherche d'un modèle pré-entraîné langage-image, CLIP, pour constituer dynamiquement des ensembles d'entraînement à partir d'images non étiquetées pour des collections arbitraires de noms de concepts, et nous utilisons les correspondances robustes offertes par les représentations d'images modernes pour co-segmenter les entités au sein des collections résultantes. Les collections synthétiques de segments sont ensuite utilisées pour construire un modèle de segmentation (sans nécessiter d'étiquettes au niveau des pixels) dont la connaissance des concepts est héritée du processus pré-entraîné évolutif de CLIP. Nous démontrons que notre approche, appelée Retrieve and Co-segment (ReCo), se compare favorablement aux approches non supervisées de segmentation tout en bénéficiant du confort des prédictions nommables et du transfert zéro-shot. Nous montrons également la capacité de ReCo à générer des segmenteurs spécialisés pour des objets extrêmement rares.