Complétion de profondeur non supervisée avec couches de projection arrière étalonnées

Nous proposons une architecture de réseau de neurones profond pour estimer une carte de profondeur dense à partir d'une image et d'un nuage de points épars. Le modèle est entraîné à l'aide d'un flux vidéo accompagné d'un nuage de points épars synchronisé, obtenu à partir d'un capteur LIDAR ou d'un autre capteur de distance, ainsi que des paramètres de calibration intrinsèques de la caméra. Lors de l'inférence, la calibration de la caméra — qui peut différer de celle utilisée pendant l'entraînement — est fournie en entrée du réseau conjointement avec le nuage de points épars et une seule image. Une couche de projection arrière calibrée (Calibrated Backprojection Layer) projette chaque pixel de l'image dans l'espace tridimensionnel à l'aide de la matrice de calibration et d'un descripteur de profondeur. L'encodage positionnel 3D ainsi obtenu est concaténé avec le descripteur d'image et la sortie de la couche précédente afin de former l'entrée de la couche suivante du encodeur. Un décodeur exploitant des connexions directes (skip-connections) génère une carte de profondeur dense. Le réseau résultant, nommé KBNet (Calibrated Backprojection Network), est entraîné de manière non supervisée en minimisant l'erreur de reprojection photométrique. Contrairement aux approches basées sur une régularisation générique, KBNet impute les valeurs de profondeur manquantes à partir des données d'entraînement. Nous évaluons KBNet sur des benchmarks publics de complétion de profondeur, où il surpasser l'état de l'art de 30,5 % en intérieur et de 8,8 % en extérieur lorsque la même caméra est utilisée pour l'entraînement et le test. Lorsque la caméra de test diffère de celle d'entraînement, l'amélioration atteint 62 %. Le code est disponible à l'adresse suivante : https://github.com/alexklwong/calibrated-backprojection-network.