HyperAIHyperAI

Command Palette

Search for a command to run...

EAGLE : Apprentissage par Agrégation Propre pour la Segmentation Sémantique Non Supervisée Centrée sur les Objets

Chanyoung Kim* Woojung Han* Dayun Ju Seong Jae Hwang†

Résumé

La segmentation sémantique a toujours dépendu de données annotées à un niveau de pixels très étendu, ce qui a conduit à l'émergence de méthodologies non supervisées. Parmi celles-ci, l'utilisation de Transformers visuels auto-supervisés pour la segmentation sémantique non supervisée (USS) a connu des progrès constants grâce aux caractéristiques profondes expressives. Cependant, pour segmenter sémantiquement des images contenant des objets complexes, un défi majeur persiste : le manque d'encodage sémantique explicite au niveau des objets dans les caractéristiques au niveau des patches. Cette limitation technique entraîne souvent une segmentation insuffisante d'objets complexes avec des structures variées. Pour combler cette lacune, nous présentons une nouvelle approche, EAGLE, qui met l'accent sur l'apprentissage de représentations centrées sur les objets pour la segmentation sémantique non supervisée. Plus précisément, nous introduisons EiCue, une technique spectrale fournissant des indices sémantiques et structurels à partir d'une base propre dérivée de la matrice de similarité sémantique des caractéristiques profondes d'image et de l'affinité chromatique d'une image. De plus, en intégrant notre perte contrastive centrée sur les objets avec EiCue, nous guidons notre modèle pour apprendre des représentations au niveau des objets avec une cohérence intra- et inter-images des caractéristiques d'objets, améliorant ainsi la précision sémantique. Des expériences approfondies sur les jeux de données COCO-Stuff, Cityscapes et Potsdam-3 montrent que EAGLE obtient des résultats USS de pointe avec une segmentation sémantique précise et cohérente dans des scènes complexes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp