TransFGU : Une approche ascendante pour la segmentation sémantique non supervisée fine-grained

La segmentation sémantique non supervisée vise à obtenir une représentation sémantique de haut niveau à partir de caractéristiques visuelles de bas niveau sans annotation manuelle. La plupart des méthodes existantes sont des approches descendantes (bottom-up) qui tentent de regrouper les pixels en régions en se basant sur des indices visuels ou des règles prédéfinies. En conséquence, ces approches descendantes peinent à produire une segmentation sémantique fine dans des scènes complexes comportant plusieurs objets, notamment lorsque certains objets présentent une apparence visuelle similaire. À l’inverse, nous proposons le premier cadre de segmentation sémantique non supervisée basé sur une approche ascendante (top-down), conçu pour la segmentation fine dans des scénarios extrêmement complexes. Plus précisément, nous obtenons tout d’abord des informations riches sur des concepts sémantiques structurés de haut niveau à partir de données visuelles à grande échelle, de manière auto-supervisée, puis utilisons ces informations comme priori pour identifier les catégories sémantiques potentielles présentes dans les jeux de données cibles. Ensuite, les catégories sémantiques de haut niveau ainsi découvertes sont projetées sur les caractéristiques de bas niveau (pixels) en calculant la carte d’activation de classe (Class Activation Map, CAM) par rapport à une représentation sémantique spécifique. Enfin, les CAMs obtenues servent de labels pseudo-étiquettes pour entraîner le module de segmentation et produire la segmentation sémantique finale. Les résultats expérimentaux sur plusieurs benchmarks de segmentation sémantique montrent que notre méthode ascendante non supervisée est robuste à la fois sur des jeux de données centrés sur les objets et sur des jeux de données centrés sur les scènes, à différents niveaux de granularité sémantique, et surpassent toutes les méthodes actuelles de pointe basées sur l’approche descendante. Notre code est disponible à l’adresse suivante : \url{https://github.com/damo-cv/TransFGU}.