Apprentissage de la topologie à partir de données synthétiques pour la complétion non supervisée de profondeur

Nous présentons une méthode pour inférer des cartes de profondeur denses à partir d’images et de mesures de profondeur éparses, en exploitant des données synthétiques afin d’apprendre l’association entre des nuages de points épars et des formes naturelles denses, tout en utilisant l’image comme preuve pour valider la carte de profondeur prédite. Notre prior appris sur les formes naturelles ne prend en entrée que des profondeurs éparses, et non des images, ce qui rend la méthode insensible au décalage de covariable lors de la transfert de modèles appris sur des données synthétiques vers des données réelles. Cela nous permet d’utiliser abondamment des données synthétiques étiquetées pour apprendre la composante la plus difficile du processus de reconstruction, à savoir l’estimation de la topologie, tout en utilisant l’image pour affiner la prédiction à partir de preuves photométriques. Notre approche utilise moins de paramètres que les méthodes précédentes, tout en atteignant l’état de l’art sur les jeux de données de benchmark intérieurs et extérieurs. Le code est disponible à l’adresse suivante : https://github.com/alexklwong/learning-topology-synthetic-data.