Examiner de plus près le décalage de domaine : Adversaires au niveau des catégories pour l'adaptation de domaine sémantiquement cohérente

Nous abordons le problème de l'adaptation non supervisée de domaine dans le cadre de la segmentation sémantique. La clé de cette démarche réside dans la réduction du décalage de domaine, c'est-à-dire en imposant une similarité entre les distributions de données des deux domaines. Une stratégie courante consiste à aligner la distribution marginale dans l'espace des caractéristiques grâce à l'apprentissage par adversaire. Cependant, cette stratégie d'alignement global ne prend pas en compte la distribution locale des caractéristiques au niveau des catégories. Une conséquence possible de ce mouvement global est que certaines catégories, qui étaient initialement bien alignées entre la source et la cible, peuvent être incorrectement mappées. Pour remédier à ce problème, cet article introduit un réseau adverse au niveau des catégories, visant à maintenir une cohérence sémantique locale tout en poursuivant l'alignement global. Notre approche consiste à examiner attentivement la distribution des données au niveau des catégories et à aligner chaque classe avec une perte adverse adaptative. Plus précisément, nous réduisons le poids de la perte adverse pour les caractéristiques bien alignées au niveau des catégories tout en augmentant la force adverse pour celles mal alignées. Dans ce processus, nous évaluons la qualité de l'alignement au niveau des catégories entre source et cible par une approche d'apprentissage co-entraîné (co-training). Nous validons notre méthode sur deux tâches d'adaptation de domaine, soit GTA5 vers Cityscapes et SYNTHIA vers Cityscapes, où elle atteint l'état de l'art en termes de précision de segmentation.