Segmentation généralisée de domaine consciente du sens

Les modèles profonds entraînés sur un domaine source peinent à généraliser lorsqu’ils sont évalués sur des domaines cibles inédits présentant des distributions de données différentes. Ce problème s’aggrave encore davantage lorsque l’on n’a pas accès à des échantillons du domaine cible pour une adaptation. Dans cet article, nous abordons la segmentation sémantique généralisée au domaine, dans laquelle un modèle de segmentation est entraîné pour être invariant vis-à-vis du domaine sans utiliser aucune donnée provenant du domaine cible. Les approches existantes pour résoudre ce problème consistent à normaliser les données vers une distribution unifiée. Nous arguons que, bien que cette normalisation favorise une normalisation globale, les caractéristiques ainsi obtenues manquent de discriminabilité, ce qui entrave la formation de frontières de segmentation nettes. Afin d’améliorer la séparation entre catégories tout en promouvant l’invariance au domaine, nous proposons un cadre comportant deux modules novateurs : la Normalisation Sensible au Sens (SAN) et le Blanchiment Sensible au Sens (SAW). Plus précisément, SAN se concentre sur l’alignement des centres au niveau des catégories entre les caractéristiques issues de différents styles d’images, tandis que SAW impose un alignement distribué sur les caractéristiques déjà alignées au niveau des centres. Grâce à SAN et SAW, nous encourageons à la fois la compacité intra-catégorique et la séparabilité inter-catégorique. Nous validons notre approche à l’aide d’expériences étendues sur des jeux de données largement utilisés (à savoir GTAV, SYNTHIA, Cityscapes, Mapillary et BDDS). Notre méthode obtient des améliorations significatives par rapport aux états de l’art existants sur diverses architectures de base (backbones). Le code est disponible à l’adresse suivante : https://github.com/leolyj/SAN-SAW