Révéler les détails clés pour percevoir les différences : une nouvelle perspective prototypique pour la reconnaissance d’actions basée sur les squelettes

Dans la reconnaissance d’actions basée sur les squelettes, un défi majeur réside dans la distinction entre des actions présentant des trajectoires de joints similaires, en raison du manque de détails au niveau des images dans les représentations squelettiques. En reconnaissant que la différenciation entre des actions similaires repose sur des détails subtils du mouvement dans des parties spécifiques du corps, notre approche se concentre sur le mouvement à très forte résolution des composants locaux du squelette. À cet effet, nous proposons ProtoGCN, un modèle basé sur les réseaux de convolution sur graphe (Graph Convolutional Network, GCN), qui décompose la dynamique des séquences complètes de squelettes en une combinaison de prototypes apprenables représentant les motifs de mouvement fondamentaux des unités d’action. En comparant la reconstruction de ces prototypes, ProtoGCN parvient à identifier efficacement et à renforcer la représentation discriminative des actions similaires. Sans recourir à des ajouts complexes, ProtoGCN atteint des performances de pointe sur plusieurs jeux de données standard, notamment NTU RGB+D, NTU RGB+D 120, Kinetics-Skeleton et FineGYM, ce qui démontre l’efficacité de la méthode proposée. Le code est disponible à l’adresse suivante : https://github.com/firework8/ProtoGCN.