EAGLE : Apprentissage par Agrégation Propre pour la Segmentation Sémantique Non Supervisée Centrée sur les Objets

La segmentation sémantique a toujours dépendu de données annotées à un niveau de pixels très étendu, ce qui a conduit à l'émergence de méthodologies non supervisées. Parmi celles-ci, l'utilisation de Transformers visuels auto-supervisés pour la segmentation sémantique non supervisée (USS) a connu des progrès constants grâce aux caractéristiques profondes expressives. Cependant, pour segmenter sémantiquement des images contenant des objets complexes, un défi majeur persiste : le manque d'encodage sémantique explicite au niveau des objets dans les caractéristiques au niveau des patches. Cette limitation technique entraîne souvent une segmentation insuffisante d'objets complexes avec des structures variées. Pour combler cette lacune, nous présentons une nouvelle approche, EAGLE, qui met l'accent sur l'apprentissage de représentations centrées sur les objets pour la segmentation sémantique non supervisée. Plus précisément, nous introduisons EiCue, une technique spectrale fournissant des indices sémantiques et structurels à partir d'une base propre dérivée de la matrice de similarité sémantique des caractéristiques profondes d'image et de l'affinité chromatique d'une image. De plus, en intégrant notre perte contrastive centrée sur les objets avec EiCue, nous guidons notre modèle pour apprendre des représentations au niveau des objets avec une cohérence intra- et inter-images des caractéristiques d'objets, améliorant ainsi la précision sémantique. Des expériences approfondies sur les jeux de données COCO-Stuff, Cityscapes et Potsdam-3 montrent que EAGLE obtient des résultats USS de pointe avec une segmentation sémantique précise et cohérente dans des scènes complexes.