HyperAIHyperAI

Command Palette

Search for a command to run...

Strukturbewusstes Residuelles Pyramiden-Netzwerk für die monoökulare Tiefenschätzung

Xiaotian Chen Xuejin Chen* Zheng-Jun Zha

Zusammenfassung

Die monokulare Tiefenschätzung ist eine wesentliche Aufgabe für die Szeneanalyse. Die zugrunde liegende Struktur von Objekten und Materialien in einer komplexen Szene ist entscheidend für die Wiederherstellung genauer und optisch ansprechender Tiefenkarten. Während globale Strukturen die Szenenlayout bestimmen, spiegeln lokale Strukturen Formdetails wider. Neu entwickelte Ansätze auf der Basis von Faltungsneuronalen Netzen (CNNs) verbessern die Leistung der Tiefenschätzung erheblich. Allerdings berücksichtigen nur wenige dieser Ansätze mehrskalige Strukturen in komplexen Szenen. In diesem Artikel schlagen wir ein strukturbewusstes residuelles Pyramiden Netzwerk (Structure-Aware Residual Pyramid Network, SARPN) vor, um mehrskalige Strukturen für eine genaue Tiefenvorhersage zu nutzen. Wir stellen einen residuellen Pyramiden Decoder (Residual Pyramid Decoder, RPD) vor, der globale Szenenstrukturen in den oberen Ebenen zum Darstellen von Layouts und lokale Strukturen in den unteren Ebenen zur Darstellung von Formdetails ausdrückt. In jeder Ebene schlagen wir residuelle Verfeinerungsmoduln (Residual Refinement Modules, RRM) vor, die residuelle Karten vorhersagen, um feinere Strukturen schrittweise auf der groberen Struktur hinzuzufügen, die in der oberen Ebene vorhergesagt wurde. Um mehrskalige Bildmerkmale vollständig zu nutzen, wird ein adaptives dichtes Merkmalsfusionsmodul (Adaptive Dense Feature Fusion, ADFF) eingeführt, das effektive Merkmale aus allen Skalen adaptiv fusioniert, um die Strukturen jeder Skala abzuleiten. Experimentelle Ergebnisse auf dem anspruchsvollen NYU-Depth v2 Datensatz zeigen, dass unser vorgeschlagener Ansatz sowohl bei qualitativer als auch quantitativer Bewertung den Stand der Technik erreicht. Der Code ist unter https://github.com/Xt-Chen/SARPN verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Strukturbewusstes Residuelles Pyramiden-Netzwerk für die monoökulare Tiefenschätzung | Paper | HyperAI