HyperAIHyperAI

Command Palette

Search for a command to run...

IronDepth: Iterative Refinement von Single-View-Tiefen unter Verwendung von Oberflächennormalen und ihrer Unsicherheit

Gwangbin Bae Ignas Budvytis Roberto Cipolla

Zusammenfassung

Die Schätzung von Oberflächennormalen und Tiefen aus einer einzigen Bildaufnahme sind eng verwandte Probleme, da die Oberflächennormalen aus der Tiefenschätzung abgeleitet werden können. Dennoch sind die von Tiefenschätzungsmethoden generierten Oberflächennormalen erheblich weniger genau als jene, die direkt durch neuronale Netze geschätzt werden. Um diesen Unterschied zu verringern, stellen wir einen neuartigen Rahmen vor, der Oberflächennormalen und deren Unsicherheit nutzt, um die geschätzte Tiefenkarte rekursiv zu verfeinern. Die Tiefenwerte jedes Pixels können mithilfe der vorhergesagten Oberflächennormalen auf ein Abfragepixel übertragen werden. Wir formulieren die Tiefenverfeinerung daher als Klassifikationsaufgabe, bei der aus den Nachbarpixeln dasjenige ausgewählt wird, von dem die Tiefeninformation propagiert wird. Durch die Übertragung auf subpixelgenaue Punkte wird die verfeinerte, niedrigauflösende Ausgabe anschließend hochaufgelöst. Die vorgeschlagene Methode erreicht state-of-the-art-Leistung sowohl auf NYUv2 als auch auf iBims-1 – sowohl hinsichtlich der Tiefenschätzung als auch der Normalenschätzung. Unser Verfeinerungsmodul kann zudem problemlos an bestehende Tiefenschätzungsmethoden angehängt werden, um deren Genauigkeit zu verbessern. Zudem zeigen wir, dass unser Rahmenwerk, das lediglich für die Tiefenschätzung trainiert wurde, auch für die Tiefenkompletierung eingesetzt werden kann. Der Quellcode ist unter https://github.com/baegwangbin/IronDepth verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp