HyperAIHyperAI

Command Palette

Search for a command to run...

Superpoint Transformer pour la segmentation d'instances de scènes 3D

Jiahao Sun Chunmei Qing Junpeng Tan Xiangmin Xu

Résumé

La plupart des méthodes existantes réalisent la segmentation d'instances 3D en étendant les modèles utilisés pour la détection d'objets 3D ou la segmentation sémantique 3D. Toutefois, ces approches non directes souffrent de deux inconvénients majeurs : 1) des boîtes englobantes imprécises ou des prédictions sémantiques insatisfaisantes limitent les performances globales du cadre de segmentation d'instances 3D ; 2) les méthodes existantes nécessitent une étape intermédiaire coûteuse en temps d’aggrégation. Pour surmonter ces problèmes, cet article propose une nouvelle méthode de segmentation d'instances 3D en bout à bout basée sur le Superpoint Transformer, nommée SPFormer. Cette méthode regroupe les caractéristiques potentielles provenant des nuages de points en superpoints, puis prédit directement les instances à l’aide de vecteurs d’interrogation, sans dépendre des résultats de détection d’objets ou de segmentation sémantique. L’étape clé de ce cadre repose sur un nouveau décodeur d’interrogation basé sur les transformateurs, capable de capturer les informations d’instance via un mécanisme d’attention croisée entre superpoints et de générer les masques correspondants aux superpoints. Grâce à un appariement biparti fondé sur les masques de superpoints, SPFormer permet d’entraîner le réseau sans étape d’aggrégation intermédiaire, accélérant ainsi significativement le processus. Des expériences étendues sur les benchmarks ScanNetv2 et S3DIS montrent que notre méthode est à la fois concise et efficace. Notamment, SPFormer dépasse les méthodes de pointe actuelles de 4,3 % en termes de mAP sur l’ensemble de test caché de ScanNetv2, tout en maintenant une vitesse d’inférence rapide (247 ms par image). Le code source est disponible à l’adresse suivante : https://github.com/sunjiahao1999/SPFormer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp