Réseaux de convolution graphique non locaux pour la reconnaissance d’actions basée sur les squelettes

Les méthodes profondes classiques pour la reconnaissance d’actions basée sur les squelettes structurent généralement le squelette sous la forme d’une séquence de coordonnées ou d’une pseudo-image afin de l’alimenter dans des réseaux récurrents (RNN) ou des réseaux de neurones convolutifs (CNN). Ces approches ne permettent pas d’exploiter explicitement la connectivité naturelle entre les articulations. Récemment, les réseaux de convolution sur graphe (GCN), qui généralisent les CNN aux structures non euclidiennes plus générales, ont obtenu des performances remarquables pour la reconnaissance d’actions basée sur les squelettes. Toutefois, la topologie du graphe est fixée manuellement et reste constante à travers toutes les couches, ce qui peut ne pas être optimale pour la tâche de reconnaissance d’actions ni pour les architectures hiérarchiques des CNN. En outre, les GCN précédents se concentrent principalement sur les informations d’ordre un (les coordonnées des articulations), tandis que les informations d’ordre deux (longueurs et directions des os) sont moins exploitées. Dans ce travail, nous proposons un nouveau modèle à deux voies basé sur la convolution de graphe non locale, afin de résoudre ces limitations. La topologie du graphe à chaque couche du modèle peut être apprise de manière uniforme ou individuelle via l’algorithme de rétropropagation (BP), ce qui confère une plus grande flexibilité et généralité. Par ailleurs, un cadre à deux voies est introduit pour modéliser simultanément les informations relatives aux articulations et aux os, ce qui améliore davantage les performances de reconnaissance. Des expériences étendues sur deux grands jeux de données, NTU-RGB+D et Kinetics, démontrent que notre modèle dépasse significativement l’état de l’art.