Neuronales Contourlet-Netzwerk für die Tiefenschätzung aus einer einzigen 360-Grad-Aufnahme

Für ein monokulares 360-Bild ist die Tiefenschätzung herausfordernd, da die Verzerrung entlang der Breite zunimmt. Um diese Verzerrung zu erfassen, setzen bestehende Methoden auf die Entwicklung tiefer und komplexer Netzwerkarchitekturen. In diesem Artikel präsentieren wir einen neuen Ansatz, der eine interpretierbare und sparsame Darstellung für 360-Bilder konstruiert. Angesichts der Bedeutung der geometrischen Struktur für die Tiefenschätzung nutzen wir die Konturlattransformation, um eine explizite geometrische Information im Spektralbereich zu erfassen, und integrieren diese mit einer impliziten Information im räumlichen Bereich. Konkret schlagen wir ein neuronales Konturlatnetzwerk vor, das aus einem Faltungsneuronalen Netzwerk und einem Zweig basierend auf der Konturlattransformation besteht. Im Encoder entwerfen wir ein räumlich-spektrales Fusionsmodul, um die beiden Arten von Hinweisen effektiv zu kombinieren. Im Gegensatz zum Encoder verwenden wir im Decoder die inverse Konturlattransformation mit lernbaren Tiefpass-Subbändern und bandpassbasierten Richtungs-Subbändern, um die Tiefeninformation zu rekonstruieren. Experimente an drei gängigen panoramischen Bild-Datensätzen zeigen, dass der vorgeschlagene Ansatz die aktuellen State-of-the-Art-Verfahren bei schnellerer Konvergenz übertrifft. Der Quellcode ist unter https://github.com/zhijieshen-bjtu/Neural-Contourlet-Network-for-MODE verfügbar.