Profondeur dense postérieure (DDP) à partir d'une seule image et de données de portée éparses

Nous présentons un système d'apprentissage profond permettant d'inférer la distribution a posteriori d'une carte de profondeur dense associée à une image, en exploitant des mesures de distance éparse, par exemple issues d'un lidar. Bien que le lidar puisse fournir une valeur de profondeur pour une petite proportion des pixels, nous utilisons les régularités reflétées dans l'ensemble d'entraînement pour compléter la carte, de manière à avoir une probabilité de profondeur pour chaque pixel de l'image. Nous utilisons un réseau de priorité conditionnelle (Conditional Prior Network) qui permet d'associer une probabilité à chaque valeur de profondeur en fonction de l'image, et nous combinons cela avec un terme de vraisemblance utilisant les mesures éparse. De manière optionnelle, nous pouvons également exploiter la disponibilité stéréoscopique lors de l'entraînement, mais dans tous les cas, nous n'avons besoin que d'une seule image et d'un nuage de points éparse lors du temps d'exécution. Nous testons notre approche sur la complétion de profondeur supervisée et non supervisée en utilisant le benchmark KITTI, et nous améliorons l'état de l'art dans les deux cas.