Pas de douleur, gros bénéfice : Classer des séquences de nuages de points dynamiques avec des modèles statiques en ajustant des surfaces spatio-temporelles au niveau des caractéristiques

Le flux de scène est un outil puissant pour capturer le champ de mouvement des nuages de points 3D. Cependant, il est difficile d'appliquer directement des modèles basés sur le flux à la classification de nuages de points dynamiques, car les points non structurés rendent l'identification efficace et précise des correspondances ponctuelles complexe, voire impossible. Pour capturer les mouvements 3D sans explicitement suivre ces correspondances, nous proposons un réseau neuronal inspiré par la cinématique (Kinet) en généralisant le concept cinématique des surfaces ST à l'espace des caractéristiques. En déroulant le solveur normal des surfaces ST dans l'espace des caractéristiques, Kinet encode implicitement la dynamique au niveau des caractéristiques et bénéficie de l'utilisation de backbones matures pour le traitement de nuages de points statiques. Avec seulement de légères modifications dans les structures du réseau et un faible coût en termes de calcul, il est simple d'entraîner conjointement et de déployer notre cadre avec un modèle statique donné. Les expériences menées sur NvGesture, SHREC'17, MSRAction-3D et NTU-RGBD démontrent son efficacité en termes de performance, son efficience tant en nombre de paramètres qu'en complexité computationnelle, ainsi que sa polyvalence face à divers backbones statiques. Notamment, Kinet atteint une précision de 93,27 % sur MSRAction-3D avec seulement 3,20 millions de paramètres et 10,35 milliards d'opérations flottantes (FLOPS).