RigNet : Réseau guidé par image répétitive pour la complétion de profondeur

La complétion de profondeur consiste à reconstruire des cartes de profondeur denses à partir de données éparses, où les images couleur sont fréquemment utilisées pour faciliter cette tâche. Les approches récentes se concentrent principalement sur des cadres d’apprentissage guidé par image afin de prédire la profondeur dense. Toutefois, la guidance floue présente dans l’image et la structure incertaine dans la profondeur continuent d’entraver les performances de ces cadres guidés par image. Pour surmonter ces limitations, nous explorons une architecture répétitive dans notre réseau guidé par image, permettant une récupération progressive et suffisante des valeurs de profondeur. Plus précisément, cette répétition s’exprime à la fois dans la branche de guidage par image et dans la branche de génération de profondeur. Dans la première branche, nous concevons un réseau en forme de sablier répétitif afin d’extraire des caractéristiques discriminantes des images dans des environnements complexes, offrant ainsi une instruction contextuelle puissante pour la prédiction de profondeur. Dans la seconde branche, nous introduisons un module de guidage répétitif basé sur une convolution dynamique, dans lequel une factorisation de convolution efficace est proposée afin de réduire simultanément la complexité du modèle et de modéliser progressivement les structures à haute fréquence. Des expériences étendues montrent que notre méthode obtient des résultats supérieurs ou compétitifs sur le benchmark KITTI et le jeu de données NYUv2.