HybridDepth : Fusion robuste de profondeur métrique en exploitant la profondeur à partir du focus et les priori à partir d'une seule image

Nous proposons HYBRIDDEPTH, une chaîne de traitement robuste pour l’estimation de profondeur, qui aborde des défis clés tels que l’ambiguïté d’échelle, l’hétérogénéité matérielle et la généralisation. HYBRIDDEPTH exploite les empilements focaux (focal stacks), des données facilement accessibles sur les appareils mobiles courants, afin de produire des cartes de profondeur métriques précises. En intégrant des priori de profondeur issus des avancées récentes en estimation de profondeur à partir d’une seule image, notre modèle atteint un niveau supérieur de détail structurel par rapport aux méthodes existantes. Nous évaluons notre pipeline comme un système end-to-end, en utilisant un client mobile nouvellement développé pour capturer les empilements focaux, qui sont ensuite transmis à un serveur équipé d’une GPU pour l’estimation de profondeur. Des analyses quantitatives et qualitatives approfondies démontrent que HYBRIDDEPTH surpasser les modèles de pointe (SOTA) sur des jeux de données courants tels que DDFF12 et NYU Depth V2. HYBRIDDEPTH présente également une forte généralisation zéro-shot. En étant entraîné sur NYU Depth V2, HYBRIDDEPTH dépasse les modèles de pointe en performance zéro-shot sur ARKitScenes et fournit des cartes de profondeur plus fidèles sur Mobile Depth. Le code source est disponible à l’adresse suivante : https://github.com/cake-lab/HybridDepth/.