Randomisation Texture Globale et Locale pour la Segmentation Sémantique Synthétique-vers-Réelle

La segmentation sémantique est une tâche fondamentale de compréhension d’image, dans laquelle chaque pixel d’une image est attribué à une étiquette correspondante. Étant donné que l’étiquetage pixel par pixel des données de référence (ground-truth) est fastidieux et très coûteux en main-d’œuvre, de nombreuses approches pratiques exploitent des images synthétiques pour entraîner des modèles destinés à la segmentation sémantique d’images du monde réel, ce qu’on appelle la segmentation sémantique du domaine synthétique vers le domaine réel (Synthetic-to-Real Semantic Segmentation, SRSS). Toutefois, les réseaux de neurones convolutifs profonds (CNN) entraînés sur des données synthétiques sources peuvent présenter une mauvaise généralisation sur des données cibles réelles. Dans ce travail, nous proposons deux mécanismes simples mais efficaces de randomisation de texture, nommés respectivement Randomisation Globale de Texture (GTR) et Randomisation Locale de Texture (LTR), dans le cadre de la généralisation de domaine pour la SRSS. La GTR vise à randomiser les textures des images sources vers des styles de texture artificiels diversifiés, afin de réduire la dépendance du réseau vis-à-vis des textures et de favoriser l’apprentissage de caractéristiques invariantes au domaine. Par ailleurs, nous observons que les différences de texture ne se produisent pas nécessairement sur l’ensemble de l’image, mais peuvent être localisées dans certaines régions. Nous proposons donc un mécanisme LTR permettant de générer des régions locales diversifiées afin de styliser partiellement les images sources. Enfin, nous introduisons une régularisation de cohérence entre GTR et LTR (CGL), visant à harmoniser les deux mécanismes proposés pendant l’entraînement. Des expériences étendues sur cinq jeux de données publics (GTA5, SYNTHIA, Cityscapes, BDDS et Mapillary), dans diverses configurations de SRSS (par exemple, GTA5/SYNTHIA vers Cityscapes/BDDS/Mapillary), démontrent que la méthode proposée surpasser les états de l’art en matière de généralisation de domaine pour la SRSS.