Traitements différenciés pour les trucs et les choses : une méthode simple d'adaptation de domaine non supervisée pour la segmentation sémantique

Dans ce travail, nous abordons le problème d’adaptation de domaine non supervisée pour la segmentation sémantique en atténuant le décalage entre le domaine source (données synthétiques) et le domaine cible (données réelles). Les approches de pointe démontrent que l’alignement au niveau sémantique est bénéfique pour atténuer ce décalage de domaine. En nous appuyant sur l’observation selon laquelle les catégories « stuff » présentent généralement des apparences similaires à travers les images de différents domaines, tandis que les catégories « things » (c’est-à-dire les instances d’objets) présentent des différences beaucoup plus marquées, nous proposons d’améliorer l’alignement sémantique en appliquant des stratégies distinctes pour les régions « stuff » et les objets « things » : 1) pour les catégories « stuff », nous générons une représentation de caractéristiques par classe et réalisons l’alignement du domaine cible vers le domaine source ; 2) pour les catégories « things », nous générons une représentation de caractéristiques pour chaque instance individuelle et encourageons chaque instance du domaine cible à s’aligner avec celle du domaine source la plus similaire. Ainsi, les différences individuelles au sein des catégories « things » sont prises en compte, ce qui permet de réduire le risque d’alignement excessif. En complément de notre méthode proposée, nous mettons également en évidence la raison pour laquelle la perte adversaire actuelle est souvent instable lors de la minimisation de l’écart de distribution, et montrons que notre approche contribue à atténuer ce problème en minimisant les caractéristiques les plus similaires entre les « stuff » et les instances des domaines source et cible. Nous menons des expériences étendues sur deux tâches d’adaptation de domaine non supervisée : GTA5 vers Cityscapes et SYNTHIA vers Cityscapes, et obtenons de nouveaux résultats d’accuracy de segmentation les plus élevés à ce jour.