Classification de Nuages de Points par un Transformers Basé sur le Contenu via le Regroupement dans l'Espace des Caractéristiques

Récemment, des tentatives ont été faites pour utiliser les Transformers dans la classification de nuages de points 3D. Pour réduire les calculs, la plupart des méthodes existantes se concentrent sur l'attention spatiale locale, mais négligent leur contenu et échouent à établir des relations entre des points distants mais pertinents. Afin de surmonter cette limitation de l'attention spatiale locale, nous proposons une architecture de Transformer basée sur le contenu des points, appelée PointConT. Cette architecture exploite la localité des points dans l'espace des caractéristiques (basé sur le contenu), qui regroupe les points échantillonnés avec des caractéristiques similaires dans la même classe et calcule l'auto-attention au sein de chaque classe, permettant ainsi un compromis efficace entre la capture des dépendances à longue portée et la complexité computationnelle. Nous introduisons également un agrégateur de caractéristiques Inception pour la classification de nuages de points, qui utilise des structures parallèles pour agréger séparément les informations à haute fréquence et à basse fréquence dans chaque branche. De nombreuses expériences montrent que notre modèle PointConT obtient une performance remarquable dans la classification de formes de nuages de points. En particulier, notre méthode atteint une précision Top-1 de 90,3 % sur le paramètre le plus difficile du ScanObjectNN. Le code source de cet article est disponible à l'adresse suivante : https://github.com/yahuiliu99/PointConT.