Transformateur stratifié pour la segmentation de nuages de points 3D

La segmentation des nuages de points 3D a connu des progrès considérables ces dernières années. La plupart des méthodes actuelles se concentrent sur l’agrégation des caractéristiques locales, mais échouent à modéliser directement les dépendances à longue portée. Dans cet article, nous proposons Stratified Transformer, une méthode capable de capturer des contextes à longue portée, offrant une forte capacité de généralisation et des performances élevées. Plus précisément, nous introduisons tout d’abord une nouvelle stratégie d’échantillonnage des clés. Pour chaque point requête, nous échantillonnons de manière dense les points proches et de manière sparse les points éloignés comme clés, selon une approche stratifiée, ce qui permet d’élargir le champ réceptif effectif tout en conservant un coût computationnel faible. Par ailleurs, afin de faire face aux défis posés par les arrangements irréguliers des points, nous proposons une embedding de points au premier niveau pour agréger l’information locale, ce qui favorise la convergence et améliore les performances. En outre, nous utilisons une encodage de position relative contextuelle pour capturer de manière adaptative les informations de position. Enfin, une implémentation à faible consommation de mémoire est introduite afin de surmonter le problème du nombre variable de points par fenêtre. Des expériences étendues démontrent l’efficacité et l’avantage de notre méthode sur les jeux de données S3DIS, ScanNetv2 et ShapeNetPart. Le code est disponible à l’adresse suivante : https://github.com/dvlab-research/Stratified-Transformer.