Découverte non supervisée de la queue longue dans le segmention d'instances à l'aide de l'autosupervision hiérarchique

La segmentation d'instances est un sujet actif en vision par ordinateur qui est généralement résolu en utilisant des approches d'apprentissage supervisé sur des jeux de données très volumineux composés de masques au niveau des objets. L'obtention d'un tel jeu de données pour tout nouveau domaine peut être très coûteuse et chronophage. De plus, les modèles formés sur certaines catégories annotées ne généralisent pas bien aux objets inconnus. L'objectif de cet article est de proposer une méthode capable de découvrir de manière non supervisée des catégories à queue longue dans la segmentation d'instances, grâce à l'apprentissage d'embeddings d'instances de régions masquées. En exploitant les relations riches et la structure hiérarchique entre les objets dans les images, nous proposons des pertes auto-supervisées pour l'apprentissage d'embeddings de masques. Formé sur le jeu de données COCO sans annotations supplémentaires des objets à queue longue, notre modèle est capable de découvrir des objets nouveaux et plus fins que les catégories courantes du COCO. Nous montrons que le modèle obtient des résultats quantitatifs compétitifs sur LVIS, comparables aux méthodes supervisées et partiellement supervisées.