Command Palette
Search for a command to run...
Superpoint Transformer pour la segmentation d'instances de scènes 3D
Superpoint Transformer pour la segmentation d'instances de scènes 3D
Jiahao Sun Chunmei Qing Junpeng Tan Xiangmin Xu
Résumé
La plupart des méthodes existantes réalisent la segmentation d'instances 3D en étendant les modèles utilisés pour la détection d'objets 3D ou la segmentation sémantique 3D. Toutefois, ces approches non directes souffrent de deux inconvénients majeurs : 1) des boîtes englobantes imprécises ou des prédictions sémantiques insatisfaisantes limitent les performances globales du cadre de segmentation d'instances 3D ; 2) les méthodes existantes nécessitent une étape intermédiaire coûteuse en temps d’aggrégation. Pour surmonter ces problèmes, cet article propose une nouvelle méthode de segmentation d'instances 3D en bout à bout basée sur le Superpoint Transformer, nommée SPFormer. Cette méthode regroupe les caractéristiques potentielles provenant des nuages de points en superpoints, puis prédit directement les instances à l’aide de vecteurs d’interrogation, sans dépendre des résultats de détection d’objets ou de segmentation sémantique. L’étape clé de ce cadre repose sur un nouveau décodeur d’interrogation basé sur les transformateurs, capable de capturer les informations d’instance via un mécanisme d’attention croisée entre superpoints et de générer les masques correspondants aux superpoints. Grâce à un appariement biparti fondé sur les masques de superpoints, SPFormer permet d’entraîner le réseau sans étape d’aggrégation intermédiaire, accélérant ainsi significativement le processus. Des expériences étendues sur les benchmarks ScanNetv2 et S3DIS montrent que notre méthode est à la fois concise et efficace. Notamment, SPFormer dépasse les méthodes de pointe actuelles de 4,3 % en termes de mAP sur l’ensemble de test caché de ScanNetv2, tout en maintenant une vitesse d’inférence rapide (247 ms par image). Le code source est disponible à l’adresse suivante : https://github.com/sunjiahao1999/SPFormer.