Domaine de randomisation et cohérence pyramidale : généralisation de la simulation à la réalité sans accès aux données du domaine cible

Nous proposons d'exploiter le potentiel de la simulation pour la segmentation sémantique des scènes réelles de conduite autonome dans une approche de généralisation de domaine. Le réseau de segmentation est formé sans aucune donnée des domaines cibles et testé sur ces domaines inconnus. À cette fin, nous proposons une nouvelle approche combinant la randomisation de domaine et la cohérence pyramidal pour apprendre un modèle doté d'une forte généralisabilité. Premièrement, nous proposons de randomiser les images synthétiques en adoptant les styles des images réelles en termes d'apparence visuelle, à l'aide de jeux de données auxiliaires, afin d'apprendre efficacement des représentations invariantes au domaine. Deuxièmement, nous imposons davantage la cohérence pyramidal entre différentes images « stylisées » et au sein d'une même image, afin d'apprendre respectivement des caractéristiques invariantes au domaine et invariantes à l'échelle. Des expériences approfondies sont menées pour évaluer la généralisation du modèle depuis GTA et SYNTHIA vers Cityscapes, BDDS et Mapillary ; notre méthode obtient des résultats supérieurs aux techniques les plus avancées actuellement disponibles. Notamment, nos résultats de généralisation sont comparables voire meilleurs que ceux obtenus par les méthodes les plus avancées d'adaptation de domaine simulation-réalité, qui ont accès aux données des domaines cibles lors de l'entraînement.