Apprentissage contrastif et auto-entraînement pour l'adaptation de domaine non supervisée en segmentation sémantique

Les réseaux de neurones convolutionnels profonds ont considérablement amélioré les résultats de pointe pour la segmentation sémantique. Néanmoins, même les architectures modernes peinent à généraliser efficacement sur des jeux de données de test provenant de domaines différents. Afin d’éviter le coût élevé de l’étiquetage des données d’entraînement pour des domaines inédits, l’adaptation de domaine non supervisée (UDA) vise à permettre un transfert efficace des connaissances d’un domaine source étiqueté vers un domaine cible non étiqueté. Les travaux antérieurs se sont principalement concentrés sur la réduction de la divergence entre les deux domaines à l’aide d’entraînement adversaire ou de self-training. Toutefois, l’entraînement adversaire peut échouer à aligner correctement les catégories sémantiques, car il minimise la différence entre les distributions globales, tandis que le self-training soulève la question de la fiabilité des pseudo-étiquettes générées. Pour aligner correctement les catégories sémantiques entre domaines, nous proposons une approche d’apprentissage contrastif qui adapte les centroïdes par catégorie entre les domaines. Par ailleurs, nous étendons notre méthode par self-training, en utilisant un ensemble temporel à faible consommation de mémoire pour produire des pseudo-étiquettes cohérentes et fiables. Bien que l’apprentissage contrastif et le self-training (CLST) via l’ensemblage temporel permettent chacun un transfert de connaissances entre deux domaines, c’est leur combinaison qui donne naissance à une structure symbiotique. Nous validons notre approche sur deux benchmarks d’adaptation de domaine : GTA5 → Cityscapes et SYNTHIA → Cityscapes. Notre méthode obtient des résultats meilleurs ou comparables à l’état de l’art. Le code sera rendu disponible publiquement.