Segmentation Associative d'Instances et de Sémantiques dans les Nuages de Points

Une nuage de points 3D décrit la scène réelle de manière précise et intuitive. À ce jour, peu de travaux ont abordé la question de la segmentation d'éléments diversifiés dans une telle scène riche en informations. Dans cet article, nous présentons tout d'abord un cadre simple et flexible permettant de segmenter les instances et les sémantiques dans les nuages de points simultanément. Ensuite, nous proposons deux approches qui permettent aux deux tâches de tirer profit l'une de l'autre, aboutissant à une situation gagnant-gagnant. Plus précisément, nous faisons en sorte que la segmentation d'instances bénéficie de la segmentation sémantique grâce à l'apprentissage d'un plongement d'instances au niveau des points conscient des sémantiques (semantic-aware point-level instance embedding). Parallèlement, les caractéristiques sémantiques des points appartenant à la même instance sont fusionnées pour améliorer les prédictions sémantiques par point. Notre méthode surpasse largement l'état de l'art en segmentation d'instances 3D, tout en apportant une amélioration significative en segmentation sémantique 3D. Le code source est disponible à l'adresse suivante : https://github.com/WXinlong/ASIS.