Adaptation de domaine non supervisée guidée par l’anchor pour la segmentation sémantique

L’adaptation de domaine non supervisée (UDA) vise à améliorer la capacité de généralisation d’un modèle donné d’un domaine source vers un domaine cible. L’UDA revêt une importance particulière, car elle ne nécessite aucun effort supplémentaire pour annoter les échantillons du domaine cible. Toutefois, les différences entre les distributions de données des deux domaines, ou décalage de domaine (domain shift/discrepancy), compromettent inévitablement les performances de l’UDA. Bien qu’il ait été fait des progrès dans l’alignement des distributions marginales entre les deux domaines, le classificateur tend à privilégier les caractéristiques du domaine source, conduisant à des prédictions erronées sur le domaine cible en raison d’un alignement des caractéristiques indépendant des catégories. Dans cet article, nous proposons un nouveau modèle d’UDA guidé par des ancres catégorielles (CAG-UDA) pour la segmentation sémantique, qui impose explicitement un alignement des caractéristiques conscient des catégories afin d’apprendre simultanément des caractéristiques discriminantes partagées et des classificateurs. Premièrement, les centroïdes par catégorie des caractéristiques du domaine source sont utilisés comme ancres guidantes pour identifier les caractéristiques actives dans le domaine cible et leur attribuer des pseudo-étiquettes. Ensuite, nous exploitons une perte de distance au niveau des pixels basée sur les ancres et une perte discriminative pour, respectivement, rapprocher les caractéristiques intra-catégorie et éloigner les caractéristiques inter-catégorie. Enfin, nous proposons un mécanisme d’entraînement par étapes afin de réduire l’accumulation d’erreurs et d’adapter progressivement le modèle proposé. Des expériences menées sur les scénarios GTA5 → Cityscapes et SYNTHIA → Cityscapes démontrent l’avantage de notre modèle CAG-UDA par rapport aux méthodes de pointe. Le code est disponible à l’adresse suivante : \url{https://github.com/RogerZhangzz/CAG_UDA}.