HyperAIHyperAI

Command Palette

Search for a command to run...

Mask3D : Transformateur de masque pour la segmentation sémantique d'instances en 3D

Jonas Schult Francis Engelmann Alexander Hermans Or Litany Siyu Tang Bastian Leibe

Résumé

Les approches modernes de segmentation sémantique d'instances en 3D reposent principalement sur des mécanismes de vote spécialisés suivis de techniques de regroupement géométrique soigneusement conçues. En nous appuyant sur les succès récents des méthodes basées sur les Transformers pour la détection d'objets et la segmentation d'images, nous proposons la première approche basée sur les Transformers pour la segmentation sémantique d'instances en 3D. Nous montrons que nous pouvons utiliser des blocs de construction génériques de Transformers pour prédire directement les masques d'instances à partir de nuages de points 3D. Dans notre modèle appelé Mask3D, chaque instance d'objet est représentée par une requête d'instance. En utilisant des décodeurs de Transformers, les requêtes d'instances sont apprises par une attention itérative aux caractéristiques du nuage de points à plusieurs échelles. Associées aux caractéristiques des points, les requêtes d'instances produisent directement tous les masques d'instances en parallèle. Mask3D présente plusieurs avantages par rapport aux approches actuelles de pointe, car il ne repose ni sur (1) des schémas de vote nécessitant des propriétés géométriques manuellement sélectionnées (comme les centres), ni sur (2) des mécanismes de regroupement géométrique nécessitant l'ajustement manuel de paramètres hyper-paramètres (par exemple, rayons), et (3) permet une perte qui optimise directement les masques d'instances. Mask3D établit un nouveau standard dans l'état de l'art sur le test ScanNet (+6,2 mAP), S3DIS 6-fold (+10,1 mAP), STPLS3D (+11,2 mAP) et le test ScanNet200 (+12,4 mAP).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Mask3D : Transformateur de masque pour la segmentation sémantique d'instances en 3D | Articles | HyperAI