Segmentation de nuages de points LiDAR épars à partir d'un seul balayage en apprenant des a priori de forme contextuelle à partir du complétion de scène

L'analyse de nuages de points LiDAR est une tâche centrale en vision par ordinateur 3D, en particulier pour la conduite autonome. Cependant, en raison de la sévérité de la rareté et des interférences de bruit dans le nuage de points LiDAR d'un seul balayage, l'obtention d'une segmentation sémantique précise n'est pas trivial. Dans cet article, nous proposons un nouveau cadre de segmentation sémantique de nuages de points LiDAR rares assisté par des a priori contextuels appris. En pratique, une segmentation sémantique initiale (SS) d'un nuage de points d'un seul balayage peut être réalisée par tout réseau attractif et ensuite transmise au module de complétion sémantique de scène (SSC) comme entrée. En fusionnant plusieurs trames dans la séquence LiDAR comme supervision, le module SSC optimisé a appris les a priori contextuels formes à partir des données LiDAR séquentielles, transformant ainsi le nuage de points rare d'un seul balayage en un nuage dense. Par conséquent, il améliore intrinsèquement l'optimisation SS grâce à une formation entièrement bout-à-bout. De plus, un module d'interaction Point-Voxel (PVI) est proposé pour renforcer encore davantage la fusion des connaissances entre les tâches SS et SSC, c'est-à-dire favoriser l'interaction entre la géométrie locale incomplète du nuage de points et la structure globale voxel complète. En outre, les modules auxiliaires SSC et PVI peuvent être éliminés lors de l'inférence sans ajouter de charge supplémentaire pour SS. Des expériences approfondies confirment que notre JS3C-Net atteint des performances supérieures sur les benchmarks SemanticKITTI et SemanticPOSS, soit des améliorations respectives de 4% et 3%.