FCNs dans la nature : Adaptation au niveau des pixels par adversarialité et contraintes

Les modèles entièrement convolutifs pour la prédiction dense ont fait leurs preuves dans une large gamme de tâches visuelles. Ces modèles fonctionnent bien dans un cadre supervisé, mais leur performance peut être surprenamment médiocre en cas de décalage de domaine qui paraît mineur à un observateur humain. Par exemple, l'entraînement sur une ville et le test sur une autre située dans une région géographique différente et/ou sous des conditions météorologiques différentes peuvent entraîner une dégradation significative des performances en raison d'un décalage de distribution au niveau des pixels. Dans cet article, nous introduisons la première méthode d'adaptation de domaine pour la segmentation sémantique, proposant une approche non supervisée et adversaire pour les problèmes de prédiction au niveau des pixels. Notre méthode comprend des techniques d'adaptation globale et spécifique aux catégories. L'alignement global des domaines est réalisé à l'aide d'un nouveau réseau de segmentation sémantique avec apprentissage entièrement convolutif et adversaire par domaine. Cette espace initialement adapté permet ensuite l'adaptation spécifique aux catégories grâce à une généralisation de l'apprentissage faible contraint, avec un transfert explicite du découpage spatial du domaine source vers le domaine cible. Notre approche surpassent les méthodes de base dans différents contextes sur plusieurs grands ensembles de données, y compris lors de l'adaptation entre divers environnements urbains réels, différents sous-domaines synthétiques, du simulé au réel, et sur un nouvel ensemble de données à grande échelle issu de caméras embarquées.Note : - "Dash-cam" a été traduit par "caméras embarquées" car c'est le terme couramment utilisé en français pour désigner ce type d'équipement.- Les termes techniques comme "fully convolutional models", "dense prediction", "domain shifts", "semantic segmentation", "unsupervised adversarial approach", etc., ont été traduits en utilisant leur équivalent standard en français dans le domaine scientifique et technologique.