GPS-GLASS : Apprentissage de la segmentation sémantique nocturne à l'aide de vidéos diurnes et de données GPS

La segmentation sémantique pour la conduite autonome doit être robuste face à divers environnements réels. La segmentation sémantique nocturne est particulièrement difficile en raison du manque d'images nocturnes annotées et de l'écart de domaine important entre les images diurnes bien annotées et celles de nuit. Dans cet article, nous proposons un nouveau cadre d'entraînement basé sur le GPS pour la segmentation sémantique nocturne. À partir de paires d'images diurnes et nocturnes alignées par GPS, nous effectuons un appariement de correspondance inter-domaine pour obtenir une supervision pseudo-pixel. De plus, nous réalisons une estimation du flot entre les images vidéo diurnes et appliquons un redimensionnement basé sur le GPS pour acquérir une autre supervision pseudo-pixel. En utilisant ces supervisions pseudo avec une carte de confiance, nous entraînons un réseau de segmentation sémantique nocturne sans aucune annotation provenant des images nocturnes. Les résultats expérimentaux démontrent l'efficacité de la méthode proposée sur plusieurs jeux de données de segmentation sémantique nocturne. Notre code source est disponible à l'adresse suivante : https://github.com/jimmy9704/GPS-GLASS.