Apprendre à s'adapter à l'espace de sortie structuré pour la segmentation sémantique

Les approches basées sur les réseaux de neurones convolutifs pour la segmentation sémantique dépendent d'une supervision avec des vérités terrain au niveau des pixels, mais peuvent ne pas généraliser bien aux domaines d'images inconnus. Étant donné que le processus d'étiquetage est fastidieux et nécessite beaucoup de main-d'œuvre, le développement d'algorithmes capables d'adapter les étiquettes de vérité terrain de la source au domaine cible suscite un grand intérêt. Dans cet article, nous proposons une méthode d'apprentissage antagoniste pour l'adaptation de domaine dans le contexte de la segmentation sémantique. En considérant les segmentations sémantiques comme des sorties structurées qui contiennent des similarités spatiales entre les domaines source et cible, nous adoptons l'apprentissage antagoniste dans l'espace des sorties. Pour améliorer davantage le modèle adapté, nous construisons un réseau antagoniste à plusieurs niveaux afin d'effectuer efficacement l'adaptation de domaine dans l'espace des sorties à différents niveaux de caractéristiques. Des expériences approfondies et une étude par élimination sont menées sous diverses configurations d'adaptation de domaine, y compris des scénarios synthétique-réel et inter-villes. Nous montrons que la méthode proposée se compare favorablement aux méthodes de pointe en termes de précision et de qualité visuelle.