2DPASS : Segmentation sémantique assistée par des a priori 2D sur les nuages de points LiDAR

Comme les caméras et les capteurs LiDAR captent des informations complémentaires utilisées dans la conduite autonome, de grands efforts ont été déployés pour développer des algorithmes de segmentation sémantique par fusion de données multi-modales. Cependant, les approches basées sur la fusion nécessitent des données appariées, c'est-à-dire des nuages de points LiDAR et des images de caméra avec des mappages pixel-par-point stricts, en tant qu'entrées à la fois lors de l'entraînement et de l'inférence, ce qui entrave sérieusement leur application dans des scénarios pratiques. Ainsi, dans cette étude, nous proposons 2D Priors Assisted Semantic Segmentation (2DPASS), un schéma d'entraînement généralisé, pour améliorer l'apprentissage des représentations sur les nuages de points en tirant pleinement parti des images 2D riches en apparence. En pratique, en exploitant une fusion modale auxiliaire et une distillation de connaissances multi-échelles vers simple (MSFSKD), 2DPASS acquiert des informations sémantiques et structurales plus riches à partir des données multi-modales, qui sont ensuite distillées en ligne au réseau pur 3D. Par conséquent, équipé de 2DPASS, notre modèle de base montre une amélioration significative avec uniquement des entrées de nuages de points. Plus précisément, il atteint l'état de l'art sur deux benchmarks à grande échelle (à savoir SemanticKITTI et NuScenes), y compris les résultats premiers dans les compétitions à balayage unique et multiple de SemanticKITTI.