Command Palette
Search for a command to run...
Réseaux de convolution de graphes non locaux pour la reconnaissance d’actions basée sur les squelettes
Réseaux de convolution de graphes non locaux pour la reconnaissance d’actions basée sur les squelettes
Hanqing Lu Jian Cheng Yifan Zhang Lei Shi
Résumé
Les méthodes profondes classiques pour la reconnaissance d’actions basée sur les squelettes consistent généralement à représenter le squelette sous la forme d’une séquence de coordonnées ou d’une pseudo-image, afin de la fournir à des réseaux récurrents (RNN) ou à des réseaux de neurones convolutifs (CNN). Ces approches ne permettent pas d’exploiter explicitement la connectivité naturelle entre les articulations. Récemment, les réseaux de convolution sur graphe (GCN), qui généralisent les CNN aux structures non euclidiennes plus générales, ont obtenu des performances remarquables pour la reconnaissance d’actions basée sur les squelettes. Toutefois, la topologie du graphe est définie manuellement et demeure fixe à travers toutes les couches, ce qui peut ne pas être optimale pour la tâche de reconnaissance d’actions ni pour les architectures hiérarchiques des CNN. En outre, les GCN précédents s’appuient principalement sur des informations du premier ordre (les coordonnées des articulations), tandis que les informations du second ordre (longueurs et directions des os) sont peu exploitées. Dans ce travail, nous proposons un nouveau modèle à deux flux basé sur une convolution de graphe non locale, afin de résoudre ces limitations. La topologie du graphe à chaque couche du modèle peut être apprise de manière uniforme ou individuelle par l’algorithme de rétropropagation (BP), offrant ainsi une plus grande flexibilité et généralité. Par ailleurs, nous introduisons un cadre à deux flux permettant de modéliser simultanément les informations relatives aux articulations et aux os, ce qui améliore davantage les performances de reconnaissance. Des expériences étendues menées sur deux grands jeux de données, NTU-RGB+D et Kinetics, démontrent que notre modèle dépasse significativement l’état de l’art.