Réseau de complétion sémantique par points pour la complétion de scènes 3D sémantiques

La complétion sémantique de scène (SSC) repose sur deux composantes : la complétion de scène (SC) et la segmentation sémantique. La plupart des méthodes existantes traitent la SSC dans un espace régulier en grille 3D, où les réseaux de neurones convolutifs 3D (3D CNN) engendrent un coût computationnel inutile sur les voxels vides. Dans ce travail, nous proposons un Réseau de Complétion de Points Sémantiques (SPCNet) afin de résoudre la SSC dans l’espace des nuages de points. Plus précisément, SPCNet adopte une architecture encodeur-décodeur : un encodeur de points observés extrait les caractéristiques des points visibles, tandis qu’un décodeur de points observés vers points occlusés est chargé de projeter ces caractéristiques sur les points non visibles. En s’appuyant sur SPCNet, nous introduisons par la suite un Réseau de Complétion de Points Sémantiques Fusionnant Image et Points (IPFSPCNet), dont l’objectif est d’améliorer les performances de la SSC en combinant les informations texturelles et géométriques. Des évaluations sont menées sur deux jeux de données publics. Les résultats expérimentaux montrent que notre méthode permet de résoudre efficacement le problème de complétion de scène dans l’espace des nuages de points. Par rapport aux approches les plus avancées, notre méthode atteint des résultats satisfaisants sur la tâche de SSC.