ScaleDepth: Zerlegung der metrischen Tiefenschätzung in Skalenvorhersage und relative Tiefenschätzung

Die Schätzung der Tiefen aus einer einzigen Bildaufnahme stellt eine herausfordernde visuelle Aufgabe dar. Im Vergleich zur relativen Tiefenschätzung zieht die metrische Tiefenschätzung aufgrund ihrer praktischen physikalischen Bedeutung und ihrer kritischen Anwendungen in realen Szenarien mehr Aufmerksamkeit auf sich. Allerdings sind bestehende Methoden zur metrischen Tiefenschätzung typischerweise auf spezifische Datensätze mit ähnlichen Szenen trainiert und stoßen bei der Generalisierung auf Szenen mit erheblichen Skalenvariationen auf Schwierigkeiten. Um diese Herausforderung zu bewältigen, schlagen wir eine neue monokulare Tiefenschätzmethode namens ScaleDepth vor. Unser Ansatz zerlegt die metrische Tiefe in die Szenenskala und die relative Tiefe und schätzt diese jeweils mittels eines semantikbewussten Skalenvorhersagemoduls (SASP) und eines adaptiven Moduls zur relativen Tiefenschätzung (ARDE). Die vorgeschlagene ScaleDepth zeichnet sich durch mehrere Vorteile aus. Erstens kann das SASP-Modul strukturelle und semantische Merkmale der Bilder implizit kombinieren, um präzise Szenenskalen vorherzusagen. Zweitens kann das ARDE-Modul die relative Tiefenverteilung jedes Bildes innerhalb eines normalisierten Tiefenraums adaptiv schätzen. Drittens erreicht unsere Methode die metrische Tiefenschätzung sowohl für Innen- als auch für Außenbereiche in einem einheitlichen Rahmen, ohne dass die Tiefenbereiche vorgegeben oder das Modell feinabgestimmt werden muss. Umfangreiche Experimente zeigen, dass unsere Methode sowohl in Innenräumen, Außenräumen, unbeschränkten als auch in bisher nicht gesehenen Szenen Spitzenleistungen erzielt. Projektseite: https://ruijiezhu94.github.io/ScaleDepth