Apprentissage entièrement auto-supervisé pour la segmentation sémantique

Dans ce travail, nous présentons un cadre entièrement auto-supervisé pour la segmentation sémantique (FS⁴). Une stratégie entièrement auto-entraînée pour la segmentation sémantique, qui permet de réduire considérablement les efforts liés à l’annotation massive de données, est essentielle pour concevoir des modèles personnalisés de bout en bout dans des domaines ouverts. Cette approche est particulièrement urgente dans des scénarios réalistes. Bien que les méthodes récentes de segmentation sémantique auto-supervisée aient connu des progrès significatifs, elles dépendent néanmoins fortement d’un modèle pré-entraîné en supervision complète, ce qui rend impossible la mise en œuvre d’un pipeline entièrement auto-supervisé. Pour résoudre ce problème, nous proposons un schéma d’entraînement auto-entraîné pour la segmentation sémantique, exploitant pleinement les connaissances sémantiques globales grâce à notre stratégie PGG et au module CAE. Plus précisément, nous réalisons un regroupement par pixels et une attribution pour la supervision de la segmentation. Afin d’éviter un regroupement désordonné, nous introduisons : 1) une stratégie d’entraînement pyramidale-guidée par le global (PGG), qui supervise l’apprentissage à l’aide d’étiquettes pseudo-sémantiques au niveau de l’image ou des patches, générées par regroupement des caractéristiques non supervisées. Ces étiquettes pseudo-sémantiques globales et pyramidales stables empêchent la segmentation d’apprendre trop de régions bruyantes ou de se dégrader vers une seule région de fond ; 2) en outre, nous proposons un module d’encodage conscient du contexte (CAE), capable de générer des embeddings globaux en tenant compte, de manière non triviale, des voisins proches à la fois dans l’espace et dans l’apparence. Nous évaluons notre méthode sur le grand jeu de données COCO-Stuff et obtenons une amélioration de 7,19 mIoU sur les objets « things » comme sur les objets « stuff ».