HyperAIHyperAI

Command Palette

Search for a command to run...

HybridDepth: Robuste metrische Tiefenfusion durch Nutzung von Tiefen aus Fokus und Einzelbild-Prioris

Ashkan Ganj Hang Su Tian Guo

Zusammenfassung

Wir stellen HYBRIDDEPTH vor, einen robusten Tiefenschätzungspipeline, der zentrale Herausforderungen der Tiefenschätzung adressiert, darunter Skalenambiguität, Hardware-Heterogenität und Generalisierbarkeit. HYBRIDDEPTH nutzt Fokussierungsstapel (focal stacks), die in gängigen mobilen Geräten problemlos verfügbar sind, um präzise metrische Tiefenkarten zu erzeugen. Durch die Integration von Tiefenprioritäten, die durch jüngste Fortschritte in der Einzelbild-Tiefenschätzung ermöglicht werden, erreicht unser Modell eine höhere Strukturdetailgenauigkeit im Vergleich zu bestehenden Methoden. Wir testen unsere Pipeline als End-to-End-System mit einem neu entwickelten mobilen Client, der Fokussierungsstapel erfasst, die anschließend an einen GPU-betriebenen Server zur Tiefenschätzung übermittelt werden. Umfassende quantitative und qualitative Analysen zeigen, dass HYBRIDDEPTH state-of-the-art (SOTA) Modelle auf gängigen Datensätzen wie DDFF12 und NYU Depth V2 übertrifft. Zudem zeigt HYBRIDDEPTH eine starke Zero-Shot-Generalisierbarkeit: Bei Training auf NYU Depth V2 erreicht HYBRIDDEPTH eine bessere Zero-Shot-Leistung auf ARKitScenes und liefert strukturell genauere Tiefenkarten auf Mobile Depth. Der Quellcode ist unter https://github.com/cake-lab/HybridDepth/ verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp