DSPoint : Reconnaissance de nuages de points à double échelle avec fusion haute fréquence

Le traitement des nuages de points est une tâche complexe en raison de leur rareté et de leur irrégularité. Les travaux précédents ont introduit des conceptions élaborées, soit sur l'agrégateur de caractéristiques locales, soit sur l'architecture géométrique globale, mais peu d'entre eux combinent les deux avantages. Nous proposons la reconnaissance à double échelle des nuages de points avec fusion haute fréquence (DSPoint) pour extraire des caractéristiques locales et globales en opérant simultanément sur les voxels et les points. Nous inversons le design conventionnel qui applique la convolution aux voxels et l'attention aux points. Plus précisément, nous dissocions les caractéristiques des points selon la dimension du canal pour un traitement à double échelle : une par convolution ponctuelle pour l'analyse géométrique fine, l'autre par attention globale voxelique pour l'exploration structurelle à longue portée. Nous concevons un module de fusion par co-attention pour aligner les caractéristiques, permettant une interaction inter-échelle croisée entre les modalités locales et globales en communiquant des informations de coordonnées hautes fréquences. Les expériences et les analyses d'ablation menées sur ModelNet40, ShapeNet et S3DIS démontrent les performances de pointe de notre DSPoint.