Complétion de données LiDAR éparses et bruyantes avec guidage RGB et incertitude

Ce travail propose une nouvelle méthode pour compléter avec précision les cartes LiDAR éparse guidées par des images RGB. Pour les véhicules autonomes et la robotique, l'utilisation de LiDAR est indispensable pour obtenir des prédictions de profondeur précises. De nombreuses applications dépendent de la perception de leur environnement et utilisent des indices de profondeur pour raisonner et réagir en conséquence. D'une part, les méthodes de prédiction de profondeur monoculaire échouent à générer des cartes de profondeur absolues et précises. D'autre part, les approches stéréoscopiques sont encore largement surpassées par les approches basées sur LiDAR. L'objectif de la tâche de complétion de profondeur est de générer des prédictions de profondeur denses à partir de nuages ​​de points éparse et irréguliers qui sont projetés sur un plan 2D. Nous proposons un nouveau cadre qui extrait à la fois des informations globales et locales afin de produire des cartes de profondeur appropriées. Nous soutenons que le simple complétion de profondeur ne nécessite pas un réseau neuronal profond. Cependant, nous proposons également une méthode de fusion avec une guidance RGB provenant d'une caméra monoculaire afin d'exploiter les informations d'objets et corriger les erreurs dans l'entrée éparse. Ceci améliore considérablement la précision. De plus, des masques de confiance sont utilisés pour tenir compte de l'incertitude dans les prédictions de profondeur issues de chaque modalité. Cette méthode de fusion surpasse l'état actuel de l'art et se classe première sur le benchmark KITTI pour la complétion de profondeur. Notre code accompagné de visualisations est disponible.Note: - "Sparse" is translated as "éparse" to maintain the technical meaning.- "Benchmark" is kept as "benchmark" since it is commonly used in French scientific literature.- "KITTI" remains unchanged as it is an acronym for a well-known dataset in the field of computer vision and autonomous driving.- The term "modality" (modalité) is used to refer to different types of data sources (LiDAR and RGB).