Auto-supervisé Éparse-à-Dense : Complétion de Profondeur Auto-supervisée à partir de LiDAR et de Caméra Monoculaire

Le complétion de profondeur, technique consistant à estimer une image de profondeur dense à partir de mesures de profondeur éparse, trouve diverses applications dans le domaine de la robotique et de la conduite autonome. Cependant, cette technique fait face à trois défis principaux : le motif irrégulièrement espacé des mesures de profondeur éparse, la difficulté à gérer plusieurs modalités sensorielles (lorsque des images couleur sont disponibles), ainsi que l'absence d'étiquettes de profondeur dense au niveau pixel. Dans ce travail, nous abordons tous ces défis. Plus précisément, nous développons un modèle de régression profonde pour apprendre une correspondance directe entre les mesures de profondeur éparse (et les images couleur) et une image de profondeur dense. Nous proposons également un cadre d'entraînement auto-supervisé qui ne nécessite que des séquences d'images couleur et de profondeur éparse, sans avoir besoin d'étiquettes de profondeur dense. Nos expériences montrent que notre réseau, lorsqu'il est entraîné avec des annotations semi-denses, atteint une précision d'état de l'art et constitue la solution gagnante du benchmark KITTI en complétion de profondeur au moment du soumissionnement. De plus, le cadre auto-supervisé surpasse plusieurs solutions existantes entraînées avec des annotations semi-denses.