CLUDA : Apprentissage contrastif dans l'adaptation de domaine non supervisée pour la segmentation sémantique

Dans cette étude, nous proposons CLUDA, une méthode simple mais novatrice pour réaliser l'adaptation de domaine non supervisée (UDA) en segmentation sémantique en intégrant des pertes contrastives dans un paradigme d'apprentissage élève-maître, qui utilise les pseudo-étiquettes générées par le réseau maître à partir du domaine cible. Plus précisément, nous extrayons une carte de caractéristiques fusionnées à plusieurs niveaux de l'encodeur et appliquons une perte contrastive entre différentes classes et différents domaines, grâce au mélange source-cible d'images. Nous améliorons constamment les performances sur diverses architectures d'encodeurs de caractéristiques et pour différents jeux de données d'adaptation de domaine en segmentation sémantique. De plus, nous introduisons une perte contrastive pondérée par apprentissage pour surpasser une approche avancée d'entraînement multi-résolution en UDA. Nous obtenons des résultats de pointe sur les jeux de données GTA $\rightarrow$ Cityscapes (74,4 mIOU, +0,6) et Synthia $\rightarrow$ Cityscapes (67,2 mIOU, +1,4). CLUDA démontre efficacement l'apprentissage contrastif en UDA comme une méthode générique qui peut être facilement intégrée à tout UDA existant pour des tâches de segmentation sémantique. Veuillez vous référer au matériel supplémentaire pour les détails sur la mise en œuvre.