Transformer basé sur les points pour la compréhension des nuages de points

Les Transformers ont démontré des performances supérieures dans diverses tâches de vision par ordinateur grâce à leur capacité à capturer les dépendances à longue portée. Malgré ce succès, il est difficile d'appliquer directement les Transformers aux nuages de points en raison de leur coût quadratique en fonction du nombre de points. Dans cet article, nous présentons un Transformer basé sur les points avec auto-positionnement (SPoTr) conçu pour capturer à la fois les contextes locaux et globaux de forme avec une complexité réduite. Plus précisément, cette architecture comprend une attention auto-locale et une attention croisée globale basée sur les points avec auto-positionnement. Les points d'auto-positionnement, placés de manière adaptative selon la forme d'entrée, prennent en compte à la fois les informations spatiales et sémantiques grâce à l'attention dissociée afin d'améliorer la puissance expressive. Avec ces points d'auto-positionnement, nous proposons un nouveau mécanisme d'attention croisée globale pour les nuages de points, qui améliore la scalabilité de l'attention auto-globale en permettant au module d'attention de calculer les poids d'attention avec seulement un petit ensemble de points d'auto-positionnement. Les expériences montrent l'efficacité de SPoTr dans trois tâches liées aux nuages de points, telles que la classification des formes, le segmentage des parties et le segmentage des scènes. En particulier, notre modèle proposé obtient une amélioration de précision de 2,6 % par rapport aux meilleurs modèles précédents pour la classification des formes avec ScanObjectNN. Nous fournissons également des analyses qualitatives pour démontrer l'interprétabilité des points d'auto-positionnement. Le code source de SPoTr est disponible sur https://github.com/mlvlab/SPoTr.