DCPI-Depth: Explizites Infusieren eines dichten Korrespondenzprioris zur unsupervised monokularen Tiefenschätzung

In letzter Zeit hat sich ein starker Forschungsinteresse an der unsupervisierten Schätzung von Tiefen aus monokularen Videos entwickelt. Ein zentrales Hindernis in diesem Bereich besteht darin, eine robuste und genaue Tiefenschätzung auch in anspruchsvollen Szenarien zu erreichen, insbesondere in Bereichen mit schwachen Texturen oder bei Vorhandensein dynamischer Objekte. Diese Studie leistet drei wesentliche Beiträge, indem sie tiefgreifend auf dichte Korrespondenzprioritäten eingeht, um bestehenden Architekturen explizite geometrische Einschränkungen zu verleihen. Der erste Beitrag ist eine kontext-geometrische Konsistenzverlustfunktion, die Tiefenkarten nutzt, die aus dichten Korrespondenzen auf Basis geschätzter Eigenbewegung trianguliert wurden, um das Lernen der Tiefenwahrnehmung durch kontextuelle Informationen zu leiten. Da triangulierte Tiefenkarten präzise relative Abstände zwischen Pixeln erfassen, ermöglichen sie eine genauere Lernstrategie. Der zweite Beitrag basiert auf der Beobachtung, dass zwischen der Divergenz des optischen Flusses und dem Gradienten der Tiefe eine explizite, ableitbare Beziehung besteht. Daraus resultiert ein differenzieller Eigenschafts-Korrelationsverlust, der gezielt die Feinabstimmung der Tiefenschätzung im Hinblick auf lokale Variationen fördert. Der dritte Beitrag ist eine bidirektionale Strömungs-Ko-Optimierungsstrategie, die die Interaktion zwischen starren und optischen Flüssen verbessert, wodurch die erste Strömung zu genaueren Korrespondenzen geführt wird und die zweite Strömung unter der Annahme statischer Szenen anpassungsfähiger gegenüber unterschiedlichen Bedingungen wird. Das von uns vorgestellte Framework DCPI-Depth, das alle diese innovativen Komponenten integriert und zwei bidirektionale, kooperative Ströme verbindet, erreicht eine state-of-the-art-Leistung und hohe Generalisierbarkeit auf mehreren öffentlichen Datensätzen und übertrifft damit alle bisherigen Ansätze. Insbesondere zeigt es eine präzise Tiefenschätzung in bereichen ohne Texturen und bei dynamischen Objekten sowie eine plausiblere Glättung. Der Quellcode wird nach der Veröffentlichung öffentlich unter mias.group/DCPI-Depth verfügbar sein.