Nicht-Lokales Räumliches Propagationsnetzwerk für Tiefenvervollständigung

In dieser Arbeit schlagen wir ein robustes und effizientes End-to-End-Netzwerk für die Tiefenvervollständigung vor, das auf der nicht-lokalen räumlichen Verbreitung basiert. Das vorgeschlagene Netzwerk verwendet RGB-Bilder und dünnbesetzte Tiefenbilder als Eingaben und schätzt die nicht-lokalen Nachbarn sowie deren Affinitäten für jedes Pixel, zusammen mit einer initialen Tiefenkarte mit pixelweisen Konfidenzwerten. Die initiale Tiefenschätzung wird dann iterativ durch ihre Konfidenz und den nicht-lokalen räumlichen Verbreitungsprozess verfeinert, der auf den vorhergesagten nicht-lokalen Nachbarn und den entsprechenden Affinitäten basiert. Im Gegensatz zu früheren Algorithmen, die feste lokale Nachbarn verwenden, vermeidet der vorgeschlagene Algorithmus unwichtige lokale Nachbarn und konzentriert sich während der Verbreitung auf relevante nicht-lokale Nachbarn. Darüber hinaus führen wir eine lernfähige Affinitätnormalisierung ein, um bessere Kombinationen von Affinitäten im Vergleich zu herkömmlichen Methoden zu erlernen. Der vorgeschlagene Algorithmus ist inhärent robust gegenüber dem gemischten-Tiefenproblem an Tiefengrenzen, was eines der Hauptprobleme für bestehende Tiefenschätzungs-/Vervollständigungsalgorithmen ist. Experimentelle Ergebnisse anhand von indoor- und outdoor-Datensätzen zeigen, dass der vorgeschlagene Algorithmus in Bezug auf die Genauigkeit der Tiefenvervollständigung und die Robustheit gegenüber dem gemischten-Tiefenproblem überlegen ist im Vergleich zu herkömmlichen Algorithmen. Unsere Implementierung ist öffentlich auf der Projektseite verfügbar.请注意，这里“非局部”被翻译为“nicht-lokal”，“稀疏深度图像”被翻译为“dünnbesetzte Tiefenbilder”。对于不太常见的术语，如“affinity normalization”，我们将其翻译为“Affinitätnormalisierung”，并在其后加上了原文以确保信息的完整性。