Complétion de scène sémantique guidée sémantiquement en 2D

La complétion sémantique de scène (SSC) vise à réaliser simultanément la complétion de scène (SC) et à prédire les catégories sémantiques d'une scène 3D à partir d'une seule image profonde et/ou RGB. La plupart des méthodes actuelles de SSC peinent à traiter les régions complexes comportant plusieurs objets proches les uns des autres, en particulier pour des objets aux surfaces réfléchissantes ou sombres. Cela provient principalement de deux défis : (1) la perte d'information géométrique due à la fiabilité insuffisante des valeurs de profondeur provenant des capteurs, et (2) le risque de confusion sémantique lors de la prédiction simultanée des formes 3D et des étiquettes sémantiques. Pour relever ces problèmes, nous proposons un cadre de complétion sémantique de scène guidé par la sémantique, appelé SG-SSC, comprenant deux composants principaux : une fusion guidée par la sémantique (SGF) et un prédicteur sémantique guidé par le volume (VGSP). Guidée par des cartes de segmentation sémantique 2D, la SGF fusionne de manière adaptative les caractéristiques RGB et profonde afin de compenser les informations géométriques manquantes dues aux valeurs manquantes dans les images de profondeur, permettant ainsi une meilleure robustesse face aux données de profondeur peu fiables. Le VGSP exploite les bénéfices mutuels entre les tâches de SC et SSC, en orientant SSC vers la prédiction des catégories des voxels présentant une haute probabilité d'occupation, tout en permettant à SC d'utiliser des prioris sémantiques pour prédire plus précisément l'occupation des voxels. Les résultats expérimentaux montrent que SG-SSC surpasse les méthodes les plus avancées existantes sur les jeux de données NYU, NYUCAD et SemanticKITTI. Les modèles et le code sont disponibles à l'adresse suivante : https://github.com/aipixel/SG-SSC.