Interaction à deux niveaux pour la segmentation sémantique adaptative au domaine

L’approche d’auto-entraînement occupe désormais une place prépondérante dans le domaine de la segmentation sémantique adaptative, où un modèle est entraîné à l’aide d’étiquettes pseudo-étiquetées provenant du domaine cible. Les avancées récentes ont atténué le problème des étiquettes pseudo-étiquetées bruitées dues à l’écart de domaine. Toutefois, elles peinent encore à faire face aux erreurs d’étiquetage près des frontières des classifications sémantiques. Dans cet article, nous abordons ce défi en proposant une interaction à deux niveaux pour l’adaptation de domaine (DIDA) dans la segmentation sémantique. Plus précisément, nous encourageons les différentes versions augmentées d’un même pixel à non seulement produire des prédictions de classe similaires (niveau sémantique), mais aussi à présenter des relations de similarité analogues par rapport aux autres pixels (niveau instance). Étant donné qu’il est impossible de conserver les caractéristiques de toutes les instances de pixels pour un ensemble de données, nous maintenons donc une banque d’instances étiquetées dotée de stratégies d’actualisation dynamique afin de stocker sélectivement les caractéristiques les plus informatives des instances. Par ailleurs, DIDA met en œuvre une interaction entre niveaux à l’aide de techniques de diffusion et de regroupement afin de régénérer des étiquettes pseudo-étiquetées plus fiables. Notre méthode surpasse significativement l’état de l’art, en particulier pour les classes ambiguës et les classes à distribution longue. Le code est disponible à l’adresse suivante : \href{https://github.com/RainJamesY/DIDA}