Segmentation sémantique assistée pour la complétion de scènes dans les nuages de points LiDAR

La complétion de scènes en extérieur constitue un défi majeur dans le domaine de la compréhension 3D des scènes, jouant un rôle crucial dans les robots intelligents et la conduite autonome. En raison de la faible densité des données LiDAR, la complétion 3D et la segmentation sémantique s'avèrent particulièrement complexes. Étant donné que les caractéristiques sémantiques peuvent fournir des contraintes et des connaissances a priori utiles pour les tâches de complétion, l’interaction entre ces deux aspects mérite d’être explorée. Nous proposons donc un réseau end-to-end de complétion de scène assistée par la segmentation sémantique, comprenant une branche de complétion 2D et une branche de segmentation sémantique 3D. Plus précisément, le réseau prend en entrée un nuage de points brut et fusionne hiérarchiquement les caractéristiques issues de la branche de segmentation dans la branche de complétion afin d’apporter des informations sémantiques. En adoptant une représentation BEV (Bird’s Eye View) ainsi que des convolutions creuses 3D, nous bénéficions d’une réduction du coût opératoire tout en maintenant une expression efficace. Par ailleurs, le décodeur de la branche de segmentation est utilisé de manière auxiliaire et peut être éliminé lors de l’inférence, permettant ainsi de réduire la consommation computationnelle. Des expériences étendues montrent que notre méthode atteint des performances compétitives sur le jeu de données SemanticKITTI, tout en assurant une faible latence. Le code et les modèles seront publiés à l’adresse suivante : https://github.com/jokester-zzz/SSA-SC.