Complétion de profondeur intérieure avec cohérence des contours et auto-attention

Les caractéristiques d'estimation de profondeur sont utiles pour la reconnaissance 3D. Les caméras de profondeur de qualité commerciale sont capables de capturer des images de profondeur et de couleur en temps réel. Cependant, les surfaces brillantes, transparentes ou éloignées ne peuvent pas être scannées correctement par le capteur. Par conséquent, l'amélioration et la restauration des données de profondeur provenant du capteur est une tâche importante. L'achèvement de la profondeur vise à combler les trous que les capteurs ne parviennent pas à détecter, ce qui reste une tâche complexe pour les machines à apprendre. Les méthodes traditionnelles ajustées manuellement ont atteint leurs limites, tandis que les méthodes basées sur les réseaux neuronaux tendent à copier et interpoler les valeurs de profondeur environnantes. Cela entraîne des contours flous et une perte des structures de la carte de profondeur. Par conséquent, notre travail principal consiste à concevoir un réseau bout-à-bout améliorant les cartes de profondeur complétées tout en maintenant la clarté des contours. Nous utilisons le mécanisme d'auto-attention, précédemment utilisé dans le domaine du remplissage d'image (image inpainting), pour extraire plus d'informations utiles dans chaque couche de convolution afin d'améliorer la carte de profondeur complète. De plus, nous proposons le concept de cohérence des contours pour renforcer la qualité et la structure de la carte de profondeur. Les résultats expérimentaux valident l'efficacité de notre schéma d'auto-attention et de cohérence des contours, qui surpassent les travaux précédents sur l'achèvement de la profondeur dans le dataset Matterport3D. Notre code est disponible au public sur https://github.com/tsunghan-wu/Depth-Completion.