HybridDepth: Robuste metrische Tiefenfusion durch Nutzung von Tiefen aus Fokus und Einzelbild-Prioris

Wir stellen HYBRIDDEPTH vor, einen robusten Tiefenschätzungspipeline, der zentrale Herausforderungen der Tiefenschätzung adressiert, darunter Skalenambiguität, Hardware-Heterogenität und Generalisierbarkeit. HYBRIDDEPTH nutzt Fokussierungsstapel (focal stacks), die in gängigen mobilen Geräten problemlos verfügbar sind, um präzise metrische Tiefenkarten zu erzeugen. Durch die Integration von Tiefenprioritäten, die durch jüngste Fortschritte in der Einzelbild-Tiefenschätzung ermöglicht werden, erreicht unser Modell eine höhere Strukturdetailgenauigkeit im Vergleich zu bestehenden Methoden. Wir testen unsere Pipeline als End-to-End-System mit einem neu entwickelten mobilen Client, der Fokussierungsstapel erfasst, die anschließend an einen GPU-betriebenen Server zur Tiefenschätzung übermittelt werden. Umfassende quantitative und qualitative Analysen zeigen, dass HYBRIDDEPTH state-of-the-art (SOTA) Modelle auf gängigen Datensätzen wie DDFF12 und NYU Depth V2 übertrifft. Zudem zeigt HYBRIDDEPTH eine starke Zero-Shot-Generalisierbarkeit: Bei Training auf NYU Depth V2 erreicht HYBRIDDEPTH eine bessere Zero-Shot-Leistung auf ARKitScenes und liefert strukturell genauere Tiefenkarten auf Mobile Depth. Der Quellcode ist unter https://github.com/cake-lab/HybridDepth/ verfügbar.