Segmentation panoptique basée sur LiDAR via un réseau de décalage dynamique

À l’ère des progrès rapides du pilotage automatisé, il devient essentiel de doter le système de perception d’une perception 3D globale et complète. Toutefois, les travaux existants se concentrent soit sur la segmentation des objets (par exemple les véhicules ou les piétons), soit sur celle des scènes (comme les arbres ou les bâtiments), à partir des données provenant de capteurs LiDAR. Dans ce travail, nous abordons la tâche de la segmentation panoptique basée sur LiDAR, dont l’objectif est de segmenter à la fois objets et scènes de manière unifiée. En tant qu’une des premières initiatives visant cette tâche exigeante, nous proposons le réseau de décalage dynamique (DS-Net), un cadre efficace pour la segmentation panoptique dans le domaine des nuages de points. En particulier, le DS-Net présente trois caractéristiques remarquables : 1) une conception avancée du réseau principal (backbone). Le DS-Net utilise une convolution cylindrique spécifiquement conçue pour les nuages de points LiDAR. Les caractéristiques extraites sont partagées entre la branche sémantique et la branche d’instance, qui fonctionne selon un style de regroupement ascendante (bottom-up). 2) Décalage dynamique pour des distributions de points complexes. Nous observons que les algorithmes de regroupement couramment utilisés, tels que BFS ou DBSCAN, sont incapables de traiter efficacement les scènes complexes du pilotage automatisé, caractérisées par des distributions non uniformes des nuages de points et des tailles d’instances variables. Ainsi, nous introduisons un module d’apprentissage de regroupement efficace, appelé « décalage dynamique », qui ajuste en temps réel les fonctions noyau selon les différentes instances. 3) Fusion pilotée par consensus. Enfin, une fusion pilotée par consensus est employée pour résoudre les désaccords entre les prédictions sémantiques et les prédictions d’instance. Pour évaluer de manière exhaustive les performances de la segmentation panoptique basée sur LiDAR, nous avons construit et curaté des benchmarks à partir de deux grands jeux de données de conduite autonome LiDAR : SemanticKITTI et nuScenes. Des expériences étendues montrent que notre DS-Net atteint des performances supérieures par rapport aux méthodes de l’état de l’art actuelles. Notamment, nous obtenons la première place sur le classement public de SemanticKITTI, surpassant la deuxième place de 2,6 % selon le métrique PQ.