Adaptation de domaine à plusieurs sources pour la segmentation sémantique

L’adaptation de domaine de simulation à réalité pour la segmentation sémantique fait l’objet d’études actives dans diverses applications, notamment la conduite autonome. Les méthodes existantes se concentrent principalement sur un cadre à source unique, qui ne permet pas facilement de traiter des scénarios plus pratiques impliquant plusieurs sources aux distributions différentes. Dans cet article, nous proposons d’explorer l’adaptation de domaine multi-sources pour la segmentation sémantique. Plus précisément, nous concevons un cadre novateur, nommé Réseau d’agrégation de domaine adversarial multi-sources (MADAN), pouvant être entraîné de manière end-to-end. Premièrement, nous générons un domaine adapté pour chaque source tout en maintenant une cohérence sémantique dynamique, tout en assurant une alignement cycle-consistant au niveau pixel vers la cible. Deuxièmement, nous introduisons un discriminateur d’agrégation de sous-domaines et un discriminateur cycle croisés entre domaines afin de rapprocher davantage les différents domaines adaptés. Enfin, une alignement au niveau des caractéristiques est effectué entre le domaine agrégé et le domaine cible pendant l’entraînement du réseau de segmentation. Des expériences étendues sur des jeux de données synthétiques (GTA et SYNTHIA) vers des données réelles (Cityscapes et BDDS) démontrent que le modèle MADAN proposé surpasse les approches de pointe. Le code source est disponible à l’adresse suivante : https://github.com/Luodian/MADAN.