Segmentation d’image non supervisée par maximisation de l’information mutuelle et régularisation adversariale

La segmentation sémantique constitue l’une des tâches fondamentales, tout en essentielles, de la compréhension de scènes pour un agent autonome. Les récents progrès des méthodes d’apprentissage supervisé et des réseaux de neurones ont permis d’importants succès dans l’amélioration des performances des techniques de pointe pour cette tâche. Toutefois, leur excellente performance repose fortement sur la disponibilité de grands ensembles de données annotées. Dans cet article, nous proposons une nouvelle méthode entièrement non supervisée de segmentation sémantique, appelée Information Maximization and Adversarial Regularization Segmentation (InMARS). Inspirés par la perception humaine, qui organise une scène en groupes perceptuels plutôt que d’analyser chaque pixel individuellement, notre approche commence par partitionner une image d’entrée en régions significatives (aussi appelées superpixels). Ensuite, elle utilise une maximisation de l’information mutuelle suivie d’une stratégie d’entraînement adversarial pour regrouper ces régions en classes sémantiquement cohérentes. Pour adapter spécifiquement une stratégie d’entraînement adversarial au problème, nous intégrons du bruit pixel adversarial ainsi que des perturbations spatiales afin d’imposer à l’architecture de réseau de neurones profond une invariance photométrique et géométrique. Nos expérimentations démontrent que notre méthode atteint un niveau d’performance au niveau de l’état de l’art sur deux jeux de données couramment utilisés pour la segmentation sémantique non supervisée : COCO-Stuff et Potsdam.