Struct-MDC : Complétion non supervisée de profondeur améliorée par raffinement maillé exploitant les régularités structurelles provenant du SLAM visuel

Les méthodes de localisation et cartographie simultanées (SLAM) visuelles basées sur des caractéristiques ne calculent que la profondeur des caractéristiques extraites, produisant ainsi une carte de profondeur creuse. Pour résoudre ce problème de faible densité, les tâches de complétion de profondeur, qui consistent à estimer une profondeur dense à partir d’une profondeur creuse, ont acquis une importance croissante dans les applications robotiques telles que l’exploration. Les méthodologies existantes utilisant une profondeur creuse issue du SLAM visuel s’appuient principalement sur des caractéristiques ponctuelles. Toutefois, ces caractéristiques ponctuelles présentent des limites dans la préservation des régularités structurelles, notamment dans des environnements dépourvus de texture ou en raison de leur faible densité. Pour surmonter ces difficultés, nous proposons une complétion de profondeur intégrant le SLAM visuel via des caractéristiques linéaires, qui permettent de mieux capturer les régularités structurelles que les caractéristiques ponctuelles. La méthode proposée construit une région de coque convexe en effectuant une triangulation de Delaunay contrainte avec une interpolation de profondeur fondée sur des caractéristiques linéaires. Toutefois, la profondeur ainsi générée contient des informations à basse fréquence et présente des discontinuités aux frontières de la coque convexe. Afin de pallier ce défaut, nous introduisons un module de raffinement de profondeur par maillage (Mesh Depth Refinement, MDR), qui transfère efficacement les détails haute fréquence de l’image d’entrée vers la profondeur interpolée, jouant ainsi un rôle essentiel dans la synergie entre les approches classiques et celles basées sur l’apprentissage profond. Le modèle Struct-MDC surpasser les autres algorithmes de pointe sur des jeux de données publics ainsi que sur nos propres jeux de données personnalisés, et même excelle certaines méthodologies supervisées sur certains indicateurs. En outre, l’efficacité du module MDR proposée est rigoureusement démontrée par une étude d’ablation approfondie.