Fusion de caractéristiques d'instances assistée par la segmentation sémantique pour la segmentation d'instances de parties 3D à plusieurs niveaux

La reconnaissance d'instances de pièces 3D à partir d'un nuage de points 3D est cruciale pour la compréhension des structures et des scènes en trois dimensions. Plusieurs approches basées sur l'apprentissage utilisent la segmentation sémantique et la prédiction du centre des instances comme tâches d'entraînement, mais échouent à exploiter davantage la relation inhérente entre les sémantiques de forme et les instances de pièces. Dans cet article, nous présentons une nouvelle méthode pour la segmentation d'instances de pièces 3D. Notre méthode utilise la segmentation sémantique pour fusionner des caractéristiques d'instances non locales, telles que la prédiction du centre, et améliore davantage le schéma de fusion de manière multivariée et croisée. Nous proposons également une tâche de prédiction du centre de région sémantique pour l'entraînement et utilisons les résultats de prédiction pour améliorer le regroupement des points d'instance. Notre méthode surpasse les méthodes existantes avec une amélioration significative dans le benchmark PartNet. Nous démontrons également que notre schéma de fusion de caractéristiques peut être appliqué à d'autres méthodes existantes pour améliorer leurs performances dans les tâches de segmentation d'instances en scènes intérieures.