Réseau de Propagation Spatiale Non Locale pour l’Achèvement de la Profondeur

Dans cet article, nous proposons un réseau de propagation spatiale non locale robuste et efficace de bout en bout pour l'achèvement de profondeur. Le réseau proposé prend en entrée des images RGB et des images de profondeur éparses, estime les voisins non locaux et leurs affinités pour chaque pixel, ainsi qu'une carte de profondeur initiale avec des confiances au niveau des pixels. La prédiction initiale de la profondeur est ensuite raffinée itérativement en fonction de sa confiance et par une procédure de propagation spatiale non locale basée sur les voisins non locaux prédits et leurs affinités correspondantes. Contrairement aux algorithmes précédents qui utilisent des voisins locaux fixes, l'algorithme proposé évite efficacement les voisins locaux non pertinents et se concentre sur les voisins non locaux pertinents pendant la propagation. De plus, nous introduisons une normalisation d'affinité apprenable pour mieux apprendre les combinaisons d'affinités par rapport aux méthodes conventionnelles. L'algorithme proposé est intrinsèquement robuste face au problème de profondeurs mixtes sur les frontières de profondeur, qui est l'un des principaux défis pour les algorithmes actuels d'estimation ou d'achèvement de profondeur. Les résultats expérimentaux sur des jeux de données intérieurs et extérieurs montrent que l'algorithme proposé est supérieur aux méthodes conventionnelles en termes de précision d'achèvement de profondeur et de robustesse face au problème de profondeurs mixtes. Notre implémentation est disponible publiquement sur la page du projet.