Transfert et régularisation de la prédiction pour la segmentation sémantique

La segmentation sémantique nécessite souvent un grand ensemble d’images annotées au niveau des pixels. À la lumière du coût élevé du marquage effectué par des experts, les recherches récentes ont montré que les modèles entraînés sur des données synthétiques photo-réalistes (par exemple, des jeux vidéo) munies d’annotations générées par ordinateur peuvent être adaptés à des images réelles. Malgré ces progrès, en l’absence de contrainte sur les prédictions effectuées sur les images réelles, les modèles s’adaptent facilement aux données synthétiques en raison d’un écart de domaine sévère. Dans cet article, nous exploitons de manière novatrice les propriétés intrinsèques de la segmentation sémantique afin de atténuer ce problème lors du transfert de modèle. Plus précisément, nous proposons un régularisateur de transfert de prédictions (RPT), qui impose ces propriétés intrinsèques comme contraintes afin de régulariser le transfert de modèle de manière non supervisée. Ces contraintes incluent des consistance de prédiction sémantique au niveau des patchs, au niveau des clusters et au niveau du contexte, à différentes échelles de formation d’image. Étant donné que le transfert est libre de labels et guidé par les données, la robustesse des prédictions est améliorée en sélectionnant de manière ciblée un sous-ensemble de régions d’image pour la régularisation du modèle. Des expériences étendues sont menées afin de valider la proposition de RPT dans le cadre du transfert de modèles entraînés sur les jeux de données synthétiques GTA5 et SYNTHIA vers le jeu de données Cityscapes (scènes urbaines de rue). Le RPT montre des améliorations constantes lorsqu’il est intégré à plusieurs réseaux neuronaux pour la segmentation sémantique. De manière particulièrement remarquable, lorsqu’il est intégré à un cadre de segmentation basé sur la génération adversaire, nous rapportons les meilleurs résultats à ce jour : un mIoU de 53,2 % / 51,7 % respectivement lors du transfert de GTA5 et de SYNTHIA vers Cityscapes.