PIC-Net : Réseau de collaboration nuage de points et image pour la reconnaissance de grands espaces

La reconnaissance de lieu est l’un des domaines de recherche les plus actifs dans le domaine de la technologie d’automatisation, et demeure encore un problème ouvert. Les caméras et les capteurs Lidar constituent deux capteurs principaux utilisés dans cette tâche. Les méthodes basées sur la caméra sont facilement sensibles aux variations d’éclairage et aux changements de saison, tandis que les capteurs Lidar ne peuvent pas fournir des données aussi riches que les images. Dans cet article, nous proposons PIC-Net (Point Cloud and Image Collaboration Network), un réseau qui utilise un mécanisme d’attention pour fusionner les caractéristiques issues de l’image et du nuage de points, tout en exploitant activement les informations complémentaires entre les deux modalités. Par ailleurs, afin d’améliorer les performances de reconnaissance la nuit, nous transformons les images nocturnes en images de style diurne. Les résultats expérimentaux montrent que la collaboration entre image et nuage de points surpasse à la fois les méthodes basées uniquement sur l’image et celles basées uniquement sur le nuage de points. De plus, l’utilisation de la stratégie d’attention ainsi que la transformation jour/nuit permettent une amélioration supplémentaire des performances.