HyperAIHyperAI

Command Palette

Search for a command to run...

ScaleDepth: Zerlegung der metrischen Tiefenschätzung in Skalenvorhersage und relative Tiefenschätzung

Ruijie Zhu Chuxin Wang Ziyang Song Li Liu Tianzhu Zhang Yongdong Zhang

Zusammenfassung

Die Schätzung der Tiefen aus einer einzigen Bildaufnahme stellt eine herausfordernde visuelle Aufgabe dar. Im Vergleich zur relativen Tiefenschätzung zieht die metrische Tiefenschätzung aufgrund ihrer praktischen physikalischen Bedeutung und ihrer kritischen Anwendungen in realen Szenarien mehr Aufmerksamkeit auf sich. Allerdings sind bestehende Methoden zur metrischen Tiefenschätzung typischerweise auf spezifische Datensätze mit ähnlichen Szenen trainiert und stoßen bei der Generalisierung auf Szenen mit erheblichen Skalenvariationen auf Schwierigkeiten. Um diese Herausforderung zu bewältigen, schlagen wir eine neue monokulare Tiefenschätzmethode namens ScaleDepth vor. Unser Ansatz zerlegt die metrische Tiefe in die Szenenskala und die relative Tiefe und schätzt diese jeweils mittels eines semantikbewussten Skalenvorhersagemoduls (SASP) und eines adaptiven Moduls zur relativen Tiefenschätzung (ARDE). Die vorgeschlagene ScaleDepth zeichnet sich durch mehrere Vorteile aus. Erstens kann das SASP-Modul strukturelle und semantische Merkmale der Bilder implizit kombinieren, um präzise Szenenskalen vorherzusagen. Zweitens kann das ARDE-Modul die relative Tiefenverteilung jedes Bildes innerhalb eines normalisierten Tiefenraums adaptiv schätzen. Drittens erreicht unsere Methode die metrische Tiefenschätzung sowohl für Innen- als auch für Außenbereiche in einem einheitlichen Rahmen, ohne dass die Tiefenbereiche vorgegeben oder das Modell feinabgestimmt werden muss. Umfangreiche Experimente zeigen, dass unsere Methode sowohl in Innenräumen, Außenräumen, unbeschränkten als auch in bisher nicht gesehenen Szenen Spitzenleistungen erzielt. Projektseite: https://ruijiezhu94.github.io/ScaleDepth


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp