Apprentissage de prototypes adaptatifs au nombre pour la segmentation sémantique de nuages de points 3D

La segmentation sémantique des nuages de points 3D constitue l'une des tâches fondamentales pour la compréhension des scènes 3D et est largement utilisée dans les applications du métavers. De nombreuses méthodes récentes de segmentation sémantique 3D apprennent un seul prototype (poids du classificateur) par classe sémantique, puis classifient les points 3D en fonction de leur prototype le plus proche. Toutefois, l’apprentissage d’un unique prototype par classe limite la capacité du modèle à décrire les variations élevées de motifs au sein d’une même classe. À la place d’apprendre un seul prototype par classe, nous proposons dans cet article d’utiliser un nombre adaptatif de prototypes afin de décrire dynamiquement les différents motifs de points au sein d’une même classe sémantique. Grâce à la puissante capacité des vision transformers, nous concevons un modèle d’apprentissage de prototypes à nombre adaptatif (Number-Adaptive Prototype Learning, NAPL) pour la segmentation sémantique des nuages de points. Pour entraîner notre modèle NAPL, nous proposons une stratégie simple mais efficace d’entraînement par dropout de prototypes, qui permet à notre modèle d’adapter automatiquement la production de prototypes pour chaque classe. Les résultats expérimentaux sur le jeu de données SemanticKITTI montrent que notre méthode obtient une amélioration de 2,3 % en mIoU par rapport au modèle de référence basé sur le paradigme de classification par point.