Adaptation de domaine par curriculum pour la segmentation sémantique des scènes urbaines

Au cours de la dernière demi-décennie, les réseaux neuronaux convolutifs (CNNs) ont remporté une victoire significative dans le domaine du découpage sémantique, l'une des tâches centrales dans de nombreuses applications telles que la conduite autonome. Cependant, l'entraînement des CNNs nécessite une quantité considérable de données, qui sont difficiles à collecter et fastidieuses à annoter. Les progrès récents en informatique graphique permettent d'entraîner des CNNs sur des images synthétiques photoréalistes avec des annotations générées par ordinateur. Malgré cela, le décalage entre les images réelles et les données synthétiques entrave les performances des modèles. Ainsi, nous proposons une approche d'apprentissage par programme progressif pour minimiser ce décalage de domaine dans le découpage sémantique des paysages urbains. L'adaptation de domaine par programme progressif résout d'abord des tâches simples afin d'inférer les propriétés nécessaires du domaine cible ; en particulier, la première tâche consiste à apprendre les distributions globales des étiquettes sur les images et les distributions locales sur les superpixels de repères. Ces distributions sont faciles à estimer car les images de scènes urbaines présentent de fortes particularités (par exemple, la taille et les relations spatiales des bâtiments, rues, voitures, etc.). Nous entraînons ensuite un réseau de segmentation tout en régularisant ses prédictions dans le domaine cible pour qu'elles suivent ces propriétés inférées. Dans nos expériences, notre méthode surpassait les méthodes de base sur deux jeux de données et deux réseaux de base. Nous rapportons également des études abrégées exhaustives concernant notre approche.