Command Palette
Search for a command to run...
Routing graphique spatiotemporal pour la reconnaissance d'actions basée sur les squelettes
Routing graphique spatiotemporal pour la reconnaissance d'actions basée sur les squelettes
Fei Wu Zhongfei Zhang Xi Li Bin Li
Résumé
Grâce à son efficacité de représentation, la reconnaissance d’actions humaines basée sur les squelettes a suscité un intérêt considérable dans la recherche académique et connaît une large gamme d’applications pratiques. Dans ce domaine, de nombreuses méthodes existantes s’appuient traditionnellement sur une structure de squelette à connectivité physique fixe pour la reconnaissance, ce qui limite leur capacité à capturer efficacement les corrélations d’ordre élevé intrinsèques entre les articulations du squelette. Dans cet article, nous proposons un nouveau schéma de routage de graphe spatio-temporel (STGR, Spatio-Temporal Graph Routing) pour la reconnaissance d’actions basée sur les squelettes, permettant d’apprendre de manière adaptative les relations de connectivité d’ordre élevé intrinsèques entre les articulations physiquement éloignées. Plus précisément, ce schéma se compose de deux composants : un routeur de graphe spatial (SGR, Spatial Graph Router) et un routeur de graphe temporel (TGR, Temporal Graph Router). Le SGR vise à découvrir les relations de connectivité entre les articulations en s’appuyant sur un regroupement par sous-groupes selon la dimension spatiale, tandis que le TGR explore les informations structurelles en mesurant les degrés de corrélation entre les trajectoires temporelles des nœuds articulaires. Le schéma proposé est naturellement et seamless intégré dans le cadre des réseaux de convolution de graphe (GCN, Graph Convolutional Networks), afin de produire un ensemble de graphes de connectivité articulaire, qui sont ensuite transmis aux réseaux de classification. En outre, une analyse approfondie du champ réceptif des nœuds de graphe est fournie afin d’expliquer la nécessité de notre méthode. Les résultats expérimentaux sur deux jeux de données standard (NTU-RGB+D et Kinetics) démontrent l’efficacité de notre approche par rapport aux méthodes de pointe actuelles.