Mask3D : Transformateur de masque pour la segmentation sémantique d'instances en 3D

Les approches modernes de segmentation sémantique d'instances en 3D reposent principalement sur des mécanismes de vote spécialisés suivis de techniques de regroupement géométrique soigneusement conçues. En nous appuyant sur les succès récents des méthodes basées sur les Transformers pour la détection d'objets et la segmentation d'images, nous proposons la première approche basée sur les Transformers pour la segmentation sémantique d'instances en 3D. Nous montrons que nous pouvons utiliser des blocs de construction génériques de Transformers pour prédire directement les masques d'instances à partir de nuages de points 3D. Dans notre modèle appelé Mask3D, chaque instance d'objet est représentée par une requête d'instance. En utilisant des décodeurs de Transformers, les requêtes d'instances sont apprises par une attention itérative aux caractéristiques du nuage de points à plusieurs échelles. Associées aux caractéristiques des points, les requêtes d'instances produisent directement tous les masques d'instances en parallèle. Mask3D présente plusieurs avantages par rapport aux approches actuelles de pointe, car il ne repose ni sur (1) des schémas de vote nécessitant des propriétés géométriques manuellement sélectionnées (comme les centres), ni sur (2) des mécanismes de regroupement géométrique nécessitant l'ajustement manuel de paramètres hyper-paramètres (par exemple, rayons), et (3) permet une perte qui optimise directement les masques d'instances. Mask3D établit un nouveau standard dans l'état de l'art sur le test ScanNet (+6,2 mAP), S3DIS 6-fold (+10,1 mAP), STPLS3D (+11,2 mAP) et le test ScanNet200 (+12,4 mAP).