UniSeg : Un réseau unifié de segmentation LiDAR multi-modale et la plateforme de code OpenPCSeg

Les vues point, voxel et range constituent trois formes représentatives des nuages de points. Toutes présentent des mesures 3D précises mais manquent d’informations couleur et texturales. Les images RGB constituent un complément naturel à ces vues de nuages de points, et l’exploitation complète de l’information globale qu’elles apportent permet d’améliorer la robustesse des perceptions. Dans cet article, nous proposons un réseau unifié de segmentation LiDAR multi-modale, nommé UniSeg, qui exploite simultanément les informations provenant des images RGB et des trois vues du nuage de points, afin de réaliser à la fois la segmentation sémantique et la segmentation panoptique. Plus précisément, nous introduisons tout d’abord le module d’association croisée apprenable (LMA), conçu pour fusionner automatiquement les caractéristiques de la vue voxel et de la vue range avec celles de l’image, exploitant pleinement l’information sémantique riche des images tout en étant robuste aux erreurs d’étalonnage. Ensuite, les caractéristiques améliorées issues des vues voxel et range sont projetées dans l’espace des points, où les trois vues de caractéristiques du nuage de points sont fusionnées de manière adaptative grâce au module d’association croisée apprenable (LVA). Notamment, UniSeg obtient des résultats prometteurs sur trois benchmarks publics : SemanticKITTI, nuScenes et Waymo Open Dataset (WOD), se classant en première position sur deux défis de deux benchmarks, à savoir le défi de segmentation sémantique LiDAR de nuScenes et les défis de segmentation panoptique de SemanticKITTI. En outre, nous avons développé le codebase OpenPCSeg, le plus vaste et le plus complet codebase dédié à la segmentation LiDAR en extérieur. Il inclut la majorité des algorithmes populaires de segmentation LiDAR en extérieur et fournit des implémentations reproductibles. Le codebase OpenPCSeg sera rendu publiquement disponible à l’adresse suivante : https://github.com/PJLab-ADG/PCSeg.