Geometrisch strukturbasierte und regularisierte Tiefenschätzung aus 360°-Innenbildern

Ausgehend von der Korrelation zwischen der Tiefe und der geometrischen Struktur einer 360-Grad-Innenraumbildaufnahme schlagen wir einen neuartigen, lernbasierten Ansatz zur Tiefenschätzung vor, der die geometrische Struktur einer Szene zur Durchführung der Tiefenschätzung nutzt. Konkret repräsentieren wir die geometrische Struktur eines Innenraums als eine Zusammenstellung von Ecken, Kanten und Ebenen. Auf der einen Seite kann die geometrische Struktur aus einer geschätzten Tiefenkarte abgeleitet werden; somit fungiert sie als Regularisierung für die Tiefenschätzung. Auf der anderen Seite profitiert die Schätzung ebenfalls von der geometrischen Struktur, die aus einem Bild abgeleitet wird, wobei diese Struktur als Prior dient. Allerdings erschwert die Anwesenheit von Möbeln in Innenräumen die Ableitung der geometrischen Struktur aus Tiefen- oder Bilddaten. Um sowohl die Tiefenschätzung aus Merkmalen der geometrischen Struktur als auch die geometrische Schätzung aus der geschätzten Tiefenkarte zu erleichtern, leiten wir eine Aufmerksamkeitskarte ab. Um die Wirksamkeit jedes einzelnen Komponenten unseres Ansatzes unter kontrollierten Bedingungen zu überprüfen, erstellen wir eine synthetische Datensammlung, das Shanghaitech-Kujiale Indoor 360-Dataset mit insgesamt 3550 360-Grad-Innenraumbildern. Umfassende Experimente auf gängigen Datensätzen bestätigen die Effektivität unseres Ansatzes. Zudem zeigen wir, dass unsere Methode auch auf gegenfaktische Tiefen angewendet werden kann.