CPGNet : Réseau de Fusion en Cascade Point-Grille pour la Segmentation Sémantique en Temps Réel des Données LiDAR

La segmentation sémantique LiDAR, essentielle pour la conduite autonome avancée, doit être précise, rapide et facile à déployer sur des plateformes mobiles. Les méthodes précédentes basées sur les points ou les voxels épars sont éloignées des applications en temps réel en raison de la recherche de voisins coûteuse en temps ou de la convolution 3D épars. Les méthodes récentes basées sur la projection 2D, notamment la vue d'amplitude et la fusion multivue, peuvent fonctionner en temps réel, mais souffrent d'une précision moindre due à la perte d'informations lors de la projection 2D. De plus, pour améliorer les performances, les méthodes antérieures utilisent généralement l'augmentation au moment du test (TTA), ce qui ralentit encore davantage le processus d'inférence. Afin d'atteindre un meilleur compromis entre vitesse et précision, nous proposons le réseau de fusion cascade Point-Grid (CPGNet), qui assure efficacité et performance principalement grâce aux deux techniques suivantes : 1) le bloc de fusion Point-Grid (PG) innovant extrait des caractéristiques sémantiques principalement sur une grille projetée en 2D pour optimiser l'efficacité, tout en synthétisant les caractéristiques 2D et 3D sur un point 3D pour minimiser la perte d'informations ; 2) la perte de cohérence de transformation proposée réduit l'écart entre l'inférence unique du modèle et la TTA. Les expériences menées sur les benchmarks SemanticKITTI et nuScenes montrent que le CPGNet sans modèles combinés ou TTA est comparable aux performances de l'état de l'art de RPVNet, tout en étant 4,7 fois plus rapide.