DSP : Dual Soft-Paste pour la segmentation sémantique adaptative non supervisée de domaine

L’adaptation de domaine non supervisée (UDA) pour la segmentation sémantique vise à adapter un modèle de segmentation entraîné sur un domaine source étiqueté afin qu’il soit efficace sur un domaine cible non étiqueté. Les méthodes existantes cherchent à apprendre des caractéristiques invariantes par rapport au domaine, mais elles souffrent de grandes différences entre domaines, ce qui rend difficile l’alignement correct des caractéristiques discordantes, notamment au cours de la phase initiale d’entraînement. Pour remédier à ce problème, nous proposons dans cet article une nouvelle méthode, appelée Dual Soft-Paste (DSP). Plus précisément, DSP sélectionne certaines classes à partir d’une image du domaine source en utilisant une stratégie d’échantillonnage initiale basée sur une distribution à queue longue, puis « colle » doucement les patches d’image correspondants sur les images source et cible d’entraînement, en utilisant un poids de fusion. Techniquement, nous adoptons le cadre du mean teacher pour l’adaptation de domaine : les images source et cible modifiées par collage passent par le réseau étudiant, tandis que l’image cible originale est traitée par le réseau enseignant. L’alignement au niveau des sorties est réalisé en alignant les cartes de probabilité de l’image cible fusionnée produites par les deux réseaux, à l’aide d’une perte de cross-entropie pondérée. Par ailleurs, l’alignement au niveau des caractéristiques est réalisé en alignant les cartes de caractéristiques issues des images source et cible à partir du réseau étudiant, à l’aide d’une perte de maximum mean discrepancy pondérée. La méthode DSP facilite l’apprentissage de caractéristiques invariantes par rapport au domaine à partir de domaines intermédiaires, conduisant à une convergence plus rapide et à de meilleures performances. Des expériences sur deux benchmarks exigeants démontrent l’avantage de DSP par rapport aux méthodes de pointe. Le code est disponible à l’adresse suivante : \url{https://github.com/GaoLii/DSP}.