Les classes comptent : une approche adversaire fine pour la segmentation sémantique cross-domain

Malgré les progrès importants réalisés dans le domaine de la segmentation sémantique supervisée, une baisse significative des performances est généralement observée lors du déploiement des modèles dans des environnements réels (« in the wild »). Les méthodes d’adaptation de domaine visent à résoudre ce problème en alignant le domaine source et le domaine cible. Toutefois, la plupart des approches existantes tentent d’effectuer cet alignement à partir d’une perspective globale, négligeant ainsi la structure sémantique fine au niveau des classes présente dans le domaine cible. Afin d’exploiter pleinement la supervision disponible dans le domaine source, nous proposons une stratégie d’apprentissage adversaire à granularité fine pour l’alignement des caractéristiques au niveau des classes, tout en préservant la structure interne des significations entre les domaines. Nous introduisons un discriminateur de domaine à granularité fine qui sert non seulement à distinguer les domaines, mais aussi à les différencier au niveau de chaque classe. Les étiquettes de domaine binaires classiques sont également généralisées en encodages de domaine, utilisés comme signal de supervision pour guider l’alignement des caractéristiques à granularité fine. Une analyse basée sur la distance entre centres de classes (Class Center Distance, CCD) confirme que notre stratégie adversaire à granularité fine atteint un meilleur alignement au niveau des classes par rapport aux méthodes de pointe actuelles. Notre méthode est facile à implémenter, et son efficacité a été évaluée sur trois tâches classiques d’adaptation de domaine : GTA5 vers Cityscapes, SYNTHIA vers Cityscapes et Cityscapes vers Cross-City. Les gains de performance importants démontrent que notre approche surpasse les méthodes basées sur l’alignement global des caractéristiques ainsi que celles fondées sur l’alignement par classe. Le code source est disponible publiquement à l’adresse suivante : https://github.com/JDAI-CV/FADA.