CSPN++: Lernen von kontext- und ressourcenbewussten Faltungsraumausbreitungsnetzwerken für Tiefenvervollständigung

Die Tiefenvervollständigung befasst sich mit dem Problem, eine dünn besetzte Tiefenkarte in eine dichte umzuwandeln, gegeben das entsprechende Farbbild. Das Faltungsraumausbreitungsnetzwerk (Convolutional Spatial Propagation Network, CSPN) ist eines der fortschrittlichsten (state-of-the-art, SoTA) Verfahren zur Tiefenvervollständigung, das strukturelle Details der Szene wiederherstellt. In dieser Arbeit schlagen wir CSPN++ vor, das seine Effektivität und Effizienz durch das Lernen von adaptiven Faltungskerngrößen und der Anzahl der Iterationen für die Ausbreitung weiter verbessert. Dadurch können Kontext und Rechenressourcen bei jedem Pixel dynamisch zugewiesen werden, wenn dies erforderlich ist. Insbesondere formulieren wir das Lernen der beiden Hyperparameter als ein Architekturauswahlproblem, bei dem zunächst verschiedene Konfigurationen von Kerngrößen und Iterationszahlen definiert werden und dann ein Satz von weichen Gewichtungsparametern trainiert wird, um entweder die vorgegebenen Konfigurationen bei jedem Pixel angemessen zusammenzuführen oder aus ihnen auszuwählen. In unseren Experimenten stellen wir fest, dass gewichtete Zusammenführung zu erheblichen Genauigkeitsverbesserungen führen kann, was wir als "kontextsensitives CSPN" bezeichnen. Gewichtete Auswahl hingegen, "ressourcensensitives CSPN", kann die benötigten Rechenressourcen erheblich reduzieren, wobei die Genauigkeit ähnlich oder sogar besser bleibt. Darüber hinaus kann der Ressourcenbedarf für CSPN++ automatisch an den verfügbaren Rechenbudget angepasst werden. Schließlich, um Nebeneffekte durch Rauschen oder ungenaue dünn besetzte Tiefen zu vermeiden, integrieren wir ein Gatter-Netzwerk in CSPN++, das die Leistungsfähigkeit weiter erhöht. Wir zeigen die Effektivität von CSPN++ am KITTI-Tiefenvervollständigungsbenchmark auf, wo es erhebliche Verbesserungen gegenüber CSPN und anderen SoTA-Verfahren erreicht.