PSTNet : Convolution Spatio-Temporelle sur des Séquences de Nuages de Points

Les séquences de nuages de points sont irrégulières et non ordonnées dans la dimension spatiale, tout en présentant des régularités et un ordre dans la dimension temporelle. Par conséquent, les convolutions basées sur une grille existantes pour le traitement vidéo conventionnel ne peuvent pas être directement appliquées à la modélisation spatio-temporelle des séquences de nuages de points brutes. Dans cet article, nous proposons une convolution spatio-temporelle de points (PST) afin d'obtenir des représentations informatives des séquences de nuages de points. La convolution PST proposée dissocie d'abord l'espace et le temps dans les séquences de nuages de points. Ensuite, une convolution spatiale est utilisée pour capturer la structure locale des points dans l'espace 3D, tandis qu'une convolution temporelle est employée pour modéliser la dynamique des régions spatiales le long de la dimension temporelle. De plus, nous intégrons la convolution PST proposée dans un réseau profond, nommé PSTNet, pour extraire les caractéristiques des séquences de nuages de points selon une approche hiérarchique. De nombreuses expériences menées sur des ensembles de données largement utilisés pour la reconnaissance d'actions 3D et la segmentation sémantique 4D démontrent l'efficacité du PSTNet pour modéliser les séquences de nuages de points.