Augmentation de style adversaire pour la segmentation de scènes urbaines généralisées au domaine

Dans cet article, nous abordons le problème de la généralisation de domaine en segmentation sémantique, dont l’objectif est d’apprendre un modèle robuste à partir uniquement de données synthétiques étiquetées (domaine source). Ce modèle doit être capable de performer efficacement sur des domaines réels (cibles) non vus auparavant. Notre étude révèle que les variations de style d’image peuvent fortement influencer les performances du modèle, et que les caractéristiques de style peuvent être efficacement représentées par les moyennes et écarts-types par canal des images. Inspirés par cette observation, nous proposons une nouvelle méthode d’augmentation de style par adversarité, appelée AdvStyle, qui génère dynamiquement des images stylisées difficiles durant l’entraînement, permettant ainsi de prévenir efficacement le surapprentissage sur le domaine source. Plus précisément, AdvStyle traite les caractéristiques de style comme des paramètres apprenables et les met à jour par une procédure d’entraînement adversaire. Les caractéristiques de style adverses apprises sont ensuite utilisées pour construire une image adversaire, destinée à renforcer la robustesse du modèle pendant l’entraînement. AdvStyle est facile à implémenter et peut être aisément intégrée à divers modèles. Des expériences menées sur deux benchmarks de segmentation sémantique synthétique vers réel montrent que AdvStyle améliore significativement les performances du modèle sur des domaines réels inédits, atteignant ainsi l’état de l’art. En outre, cette approche peut être appliquée à la classification d’images en généralisation de domaine, où elle conduit à une amélioration notable sur les jeux de données considérés.