Réinterroger l'alignement et l'uniformité dans la segmentation sémantique non supervisée

La segmentation sémantique d’images non supervisée (UISS) vise à associer des caractéristiques visuelles de bas niveau à des représentations de haut niveau sémantique sans supervision externe. Dans cet article, nous examinons les propriétés critiques des modèles UISS sous l’angle de l’alignement des caractéristiques et de leur uniformité. Nous comparons également UISS à l’apprentissage de représentations par image. À partir de cette analyse, nous soutenons que les méthodes existantes basées sur la mutual information (MI) dans le cadre de l’UISS souffrent d’un effondrement de représentation. À cette fin, nous proposons un réseau robuste appelé Semantic Attention Network (SAN), dans lequel un nouveau module, le Semantic Attention (SEAT), est introduit pour générer de manière dynamique des caractéristiques pixeliques et sémantiques. Les résultats expérimentaux sur plusieurs benchmarks de segmentation sémantique montrent que notre cadre de segmentation non supervisée excelle dans la capture des représentations sémantiques, surpassant à la fois les méthodes non préentraînées et certaines méthodes préentraînées.