S3CNet : Un réseau de complétion de scène sémantique creuse pour nuages de points LiDAR

Face à la dépendance croissante des systèmes robotiques autonomes, tels que les véhicules sans conducteur, envers une vision 3D robuste, le traitement des nuages de points LiDAR à l’aide de réseaux de neurones convolutionnels profonds est devenu une tendance à la fois dans le milieu académique et industriel. Les tentatives antérieures visant à résoudre la tâche exigeante de la complétion sémantique de scène — qui consiste à inférer une structure 3D dense ainsi que des étiquettes sémantiques associées à partir de représentations « éparse » — ont connu un certain succès dans des scènes intérieures de petite taille, notamment lorsqu’elles disposaient de nuages de points denses ou de cartes de profondeur denses, souvent fusionnées avec des cartes de segmentation sémantique issues d’images RGB. Toutefois, les performances de ces systèmes chutent de manière significative lorsqu’ils sont appliqués à de grandes scènes extérieures, caractérisées par des conditions dynamiques et une densité de points exponentiellement réduite. De plus, le traitement de l’ensemble du volume éparse devient impossible en raison des limitations mémoire ; les solutions de contournement, telles que la division du volume global en plusieurs segments égaux pour une inférence indépendante, introduisent une inefficacité computationnelle qui rend l’exploitation en temps réel inenvisageable.Dans ce travail, nous proposons une méthode qui intègre naturellement la sparsité des environnements à grande échelle, et présentons S3CNet, un réseau neuronal fondé sur des convolutionnelles creuses, capable de prédire une scène sémantiquement complétée à partir d’un unique nuage de points LiDAR. Nous démontrons que notre méthode surpasse tous les modèles existants sur cette tâche 3D, atteignant des résultats de pointe sur le benchmark SemanticKITTI. Par ailleurs, nous proposons une variante 2D de S3CNet, basée sur une stratégie de fusion multi-vues, afin de compléter notre réseau 3D et renforcer sa robustesse face aux occlusions et à la sparsité extrême dans les régions éloignées. Nous menons des expériences sur la tâche de complétion sémantique 2D et comparons les performances de notre réseau 2D creux à plusieurs modèles de segmentation LiDAR de pointe adaptés à la segmentation vue oiseau, sur deux jeux de données open source.