SDC-Depth: Semantic Divide-and-Conquer Network für die Monokulare Tiefenschätzung

Die monokulare Tiefenschätzung ist ein schlecht gestelltes Problem und hängt daher entscheidend von Szenen-Priorisierungen und Semantik ab. Aufgrund ihrer Komplexität schlagen wir ein tiefes neuronales Netzwerkmodell vor, das auf einem semantischen Divide-and-Conquer-Ansatz basiert. Unser Modell zerlegt eine Szene in semantische Segmente, wie beispielsweise Objektinstanzen und Hintergrund-„Stuff“-Klassen, und schätzt für jedes semantische Segment in einem kanonischen Raum eine skalen- und verschiebungsinvariante Tiefenkarte vor. Semantische Segmente derselben Kategorie teilen sich denselben Tiefendekoder, wodurch die globale Tiefenschätzaufgabe in eine Reihe von kategorie-spezifischen Teilproblemen zerlegt wird, die einfacher zu lernen sind und sich besser auf neue Szenentypen verallgemeinern lassen. Schließlich verbindet unser Modell die einzelnen lokalen Tiefensegmente, indem es deren Skalierung und Verschiebung auf Basis des globalen Kontexts der Bildes vorhersagt. Das Modell wird end-to-end mit einer Multi-Task-Loss-Funktion für Panoptic-Segmentierung und Tiefenschätzung trainiert und kann daher große Panoptic-Segmentierungsdatasets nutzen, um sein semantisches Verständnis zu verbessern. Wir bestätigen die Wirksamkeit unseres Ansatzes und zeigen state-of-the-art-Leistungen auf drei Benchmark-Datensätzen.