Complétion sémantique de scène par intégration d'instances et de scène en boucle

La Reconstruction Sémantique de Scènes vise à reconstruire une scène 3D complète dotée d'une sémantique voxel-par-voxel précise à partir d'une seule image profonde ou RGBD. Il s'agit d'un problème crucial mais difficile pour la compréhension des scènes intérieures. Dans ce travail, nous proposons un nouveau cadre nommé Réseau Scène-Instance-Scène (\textit{SISNet}), qui exploite à la fois les informations sémantiques au niveau des instances et au niveau de la scène. Notre méthode est capable de prédire des détails de forme fins ainsi que des objets proches dont les catégories sémantiques sont facilement confondues. L'idée clé réside dans le fait que nous décomposons les instances à partir d'une scène sémantique initialement reconstruite de manière grossière, plutôt qu'à partir de l'image d'entrée brute, afin de guider la reconstruction des instances et de la scène globale. Le modèle \textit{SISNet} effectue une complétion sémantique itérative entre scène et instance (SI) ainsi qu'entre instance et scène (IS). Plus précisément, la phase SI permet d'encoder le contexte environnant des objets afin de déconnecter efficacement les instances de la scène, tandis que chaque instance peut être voxélisée à une résolution plus élevée pour capturer des détails fins. Grâce à la phase IS, les informations détaillées au niveau des instances sont intégrées de nouveau dans la scène 3D, conduisant ainsi à une complétion sémantique plus précise. Grâce à ce mécanisme itératif, la complétion de la scène et celle des instances s'améliorent mutuellement, atteignant ainsi une précision de complétion supérieure. Des expérimentations étendues montrent que notre méthode dépasse de manière cohérente les états de l'art sur les jeux de données réels NYU et NYUCAD, ainsi que sur le jeu de données synthétique SUNCG-RGBD. Le code source et les documents complémentaires seront disponibles à l'adresse \url{https://github.com/yjcaimeow/SISNet}.