SDC-Depth : Réseau sémantique divide-and-conquer pour l'estimation de profondeur à partir d'une seule image

L’estimation de profondeur à partir d’une seule caméra est un problème mal posé, et dépend donc crucialement des prioris scéniques et des informations sémantiques. En raison de sa complexité, nous proposons un modèle de réseau neuronal profond basé sur une approche sémantique de type « diviser pour mieux régner ». Notre modèle décompose une scène en segments sémantiques, tels que des instances d’objets ou des classes de fond (stuff), puis prédit une carte de profondeur invariante à l’échelle et au décalage pour chaque segment sémantique dans un espace canonique. Les segments sémantiques de même catégorie partagent le même décodeur de profondeur, ce qui décompose la tâche globale de prédiction de profondeur en une série de tâches spécifiques à chaque catégorie, plus simples à apprendre et plus faciles à généraliser à de nouveaux types de scènes. Enfin, notre modèle assemble chaque segment local de profondeur en prédiant son échelle et son décalage à partir du contexte global de l’image. Le modèle est entraîné de manière end-to-end à l’aide d’une fonction de perte multi-tâches pour la segmentation panoptique et la prédiction de profondeur, ce qui lui permet d’exploiter efficacement de grands jeux de données de segmentation panoptique afin d’améliorer sa compréhension sémantique. Nous validons l’efficacité de notre approche et démontrons des performances de pointe sur trois jeux de données de référence.