CSPN++ : Apprentissage de réseaux de propagation spatiale convolutifs contextuels et conscients des ressources pour l'achèvement de profondeur
La complétion de profondeur concerne le problème de conversion d'une carte de profondeur éparsse en une carte dense, à partir de l'image couleur correspondante. Le réseau de propagation spatiale par convolution (CSPN) est l'une des méthodes les plus avancées (SoTA) pour la complétion de profondeur, permettant de restituer les détails structuraux de la scène. Dans cet article, nous proposons CSPN++, qui améliore encore son efficacité et sa performance en apprenant des tailles de noyaux convolutifs adaptatifs et le nombre d'itérations pour la propagation, ce qui permet d'attribuer dynamiquement le contexte et les ressources informatiques nécessaires à chaque pixel selon les besoins. Plus précisément, nous formulons l'apprentissage des deux hyperparamètres comme un problème de sélection d'architecture où diverses configurations de tailles de noyaux et de nombres d'itérations sont d'abord définies, puis un ensemble de paramètres pondérés doux est entraîné pour assembler ou sélectionner correctement parmi ces configurations prédéfinies à chaque pixel. Dans nos expériences, nous constatons que l'assemblage pondéré peut conduire à des améliorations significatives en termes de précision, que nous appelons « CSPN contextuel », tandis que la sélection pondérée, « CSPN économe en ressources », peut réduire considérablement les ressources informatiques avec une précision similaire ou meilleure. De plus, les ressources nécessaires pour CSPN++ peuvent être ajustées automatiquement en fonction du budget informatique. Enfin, pour éviter les effets indésirables du bruit ou des profondeurs éparses inexactes, nous intégrons un réseau piloté (gated network) au sein de CSPN++, ce qui améliore encore davantage ses performances. Nous démontrons l'efficacité de CSPN++ sur le banc d'essai KITTI pour la complétion de profondeur, où il offre une amélioration significative par rapport au CSPN et aux autres méthodes SoTA.