Verzerrungsbewusste Faltungsfilter für dichte Vorhersagen in panoramischen Bildern

Es besteht ein hoher Bedarf an 3D-Daten für 360°-Panoramabilder und -videos, getrieben durch die zunehmende Verfügbarkeit spezialisierter Hardware sowohl zur Aufnahme (z. B. omnidirektionale Kameras) als auch zur 3D-Visualisierung (z. B. Head-Mounted Displays) von Panoramainhalten. Gleichzeitig sind 3D-Sensoren, die 3D-Panoramas aufnehmen können, teuer und/oder schwer verfügbar. Um diese Lücke zu schließen, stellen wir einen lernbasierten Ansatz zur Schätzung von Panoramatiefenkarten aus einem einzigen Bild vor. Dank eines speziell entwickelten verformbaren Faltungsfilters, der Verzerrungen berücksichtigt, kann unser Verfahren mit herkömmlichen perspektivischen Bildern trainiert werden und anschließend zur Schätzung der Tiefeninformation in Panoramabildern eingesetzt werden – wodurch der Aufwand zur Erstellung annotierter Trainingsdatensätze für Panoramabilder entfällt. Zudem demonstrieren wir die Anwendbarkeit unseres Ansatzes für aufkommende Aufgaben wie panormales monokulares SLAM, panormale semantische Segmentierung sowie panormale Stiltransfer.