Réseau de Propagation Volumique : Fusion Stéréo-LiDAR pour l'Estimation de Profondeur à Longue Portée

La fusion stéréo-LiDAR est une tâche prometteuse dans la mesure où elle permet d'utiliser deux types différents de perceptions 3D pour des applications pratiques : des informations 3D denses (caméras stéréo) et des nuages de points épars mais très précis (LiDAR). Cependant, en raison de leurs modalités et structures différentes, la méthode d'alignement des données de capteurs est cruciale pour une fusion réussie. À cet effet, nous proposons un réseau de fusion stéréo-LiDAR basé sur la géométrie pour l'estimation de profondeur à longue portée, appelé réseau de propagation volumique (volumetric propagation network). L'idée centrale de notre réseau consiste à exploiter les nuages de points épars et précis comme indice pour guider les correspondances des images stéréo dans un espace volumique unifié. Contrairement aux stratégies de fusion existantes, nous intégrons directement les nuages de points dans le volume, ce qui nous permet de propager les informations valides vers les voxels voisins dans le volume et de réduire l'incertitude des correspondances. Ainsi, cela nous permet de fusionner deux modalités d'entrée différentes sans couture et de régresser une carte de profondeur à longue portée. Notre fusion est encore améliorée par une nouvelle couche d'extraction de caractéristiques pour les nuages de points guidés par les images : FusionConv. FusionConv extrait des caractéristiques du nuage de points qui prennent en compte à la fois les relations sémantiques (domaine 2D des images) et géométriques (domaine 3D), facilitant ainsi la fusion au niveau du volume. Notre réseau atteint des performances d'état de l'art sur les jeux de données KITTI et Virtual-KITTI parmi les méthodes récentes de fusion stéréo-LiDAR.