Command Palette
Search for a command to run...
IronDepth: Iterative Refinement von Single-View-Tiefen unter Verwendung von Oberflächennormalen und ihrer Unsicherheit
IronDepth: Iterative Refinement von Single-View-Tiefen unter Verwendung von Oberflächennormalen und ihrer Unsicherheit
Gwangbin Bae Ignas Budvytis Roberto Cipolla
Zusammenfassung
Die Schätzung von Oberflächennormalen und Tiefen aus einer einzigen Bildaufnahme sind eng verwandte Probleme, da die Oberflächennormalen aus der Tiefenschätzung abgeleitet werden können. Dennoch sind die von Tiefenschätzungsmethoden generierten Oberflächennormalen erheblich weniger genau als jene, die direkt durch neuronale Netze geschätzt werden. Um diesen Unterschied zu verringern, stellen wir einen neuartigen Rahmen vor, der Oberflächennormalen und deren Unsicherheit nutzt, um die geschätzte Tiefenkarte rekursiv zu verfeinern. Die Tiefenwerte jedes Pixels können mithilfe der vorhergesagten Oberflächennormalen auf ein Abfragepixel übertragen werden. Wir formulieren die Tiefenverfeinerung daher als Klassifikationsaufgabe, bei der aus den Nachbarpixeln dasjenige ausgewählt wird, von dem die Tiefeninformation propagiert wird. Durch die Übertragung auf subpixelgenaue Punkte wird die verfeinerte, niedrigauflösende Ausgabe anschließend hochaufgelöst. Die vorgeschlagene Methode erreicht state-of-the-art-Leistung sowohl auf NYUv2 als auch auf iBims-1 – sowohl hinsichtlich der Tiefenschätzung als auch der Normalenschätzung. Unser Verfeinerungsmodul kann zudem problemlos an bestehende Tiefenschätzungsmethoden angehängt werden, um deren Genauigkeit zu verbessern. Zudem zeigen wir, dass unser Rahmenwerk, das lediglich für die Tiefenschätzung trainiert wurde, auch für die Tiefenkompletierung eingesetzt werden kann. Der Quellcode ist unter https://github.com/baegwangbin/IronDepth verfügbar.