HyperAIHyperAI

Command Palette

Search for a command to run...

TransFGU : Une approche ascendante pour la segmentation sémantique non supervisée fine-grained

Zhaoyuan Yin Pichao Wang Fan Wang Xianzhe Xu Hanling Zhang Hao Li Rong Jin

Résumé

La segmentation sémantique non supervisée vise à obtenir une représentation sémantique de haut niveau à partir de caractéristiques visuelles de bas niveau sans annotation manuelle. La plupart des méthodes existantes sont des approches descendantes (bottom-up) qui tentent de regrouper les pixels en régions en se basant sur des indices visuels ou des règles prédéfinies. En conséquence, ces approches descendantes peinent à produire une segmentation sémantique fine dans des scènes complexes comportant plusieurs objets, notamment lorsque certains objets présentent une apparence visuelle similaire. À l’inverse, nous proposons le premier cadre de segmentation sémantique non supervisée basé sur une approche ascendante (top-down), conçu pour la segmentation fine dans des scénarios extrêmement complexes. Plus précisément, nous obtenons tout d’abord des informations riches sur des concepts sémantiques structurés de haut niveau à partir de données visuelles à grande échelle, de manière auto-supervisée, puis utilisons ces informations comme priori pour identifier les catégories sémantiques potentielles présentes dans les jeux de données cibles. Ensuite, les catégories sémantiques de haut niveau ainsi découvertes sont projetées sur les caractéristiques de bas niveau (pixels) en calculant la carte d’activation de classe (Class Activation Map, CAM) par rapport à une représentation sémantique spécifique. Enfin, les CAMs obtenues servent de labels pseudo-étiquettes pour entraîner le module de segmentation et produire la segmentation sémantique finale. Les résultats expérimentaux sur plusieurs benchmarks de segmentation sémantique montrent que notre méthode ascendante non supervisée est robuste à la fois sur des jeux de données centrés sur les objets et sur des jeux de données centrés sur les scènes, à différents niveaux de granularité sémantique, et surpassent toutes les méthodes actuelles de pointe basées sur l’approche descendante. Notre code est disponible à l’adresse suivante : \url{https://github.com/damo-cv/TransFGU}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp