PanoDepth: Ein zweistufiger Ansatz zur Tiefenschätzung aus einer einzigen omnidirektionalen Ansicht

Omnidirektionale 3D-Informationen sind für eine Vielzahl von Anwendungen wie Virtual Reality, autonomes Fahren und Robotik von entscheidender Bedeutung. In diesem Artikel stellen wir ein neuartiges, modellunabhängiges, zweistufiges Verfahren für die omnidirektionale monokulare Tiefenschätzung vor. Unser vorgeschlagenes Framework PanoDepth nimmt ein 360°-Bild als Eingabe, erzeugt im ersten Schritt ein oder mehrere synthetisierte Ansichten und liefert sowohl das ursprüngliche Bild als auch die synthetisierten Ansichten in den anschließenden Stereo-Abstandsschätzungsschritt. Im zweiten Schritt führen wir eine differenzierbare sphärische Warping-Schicht ein, um die omnidirektionale Stereo-Geometrie effizient und effektiv zu handhaben. Durch die Nutzung expliziter, auf Stereo-Abstand basierender geometrischer Einschränkungen im Stereo-Abstandsschätzungsschritt kann PanoDepth dichte, hochwertige Tiefeninformationen erzeugen. Wir haben umfangreiche Experimente sowie Ablationstudien durchgeführt, um PanoDepth sowohl mit dem vollständigen Pipeline-Verfahren als auch mit den einzelnen Modulen jeder Stufe zu bewerten. Unsere Ergebnisse zeigen, dass PanoDepth die derzeit besten Ansätze für die 360°-monokulare Tiefenschätzung deutlich übertrifft.