Reconnaissance d'actions optimisée basée sur le squelette par régression de graphe épurée

Avec la généralisation des capteurs de profondeur accessibles, les squelettes dynamiques du corps humain ont attiré beaucoup d'attention en tant que modalité robuste pour la reconnaissance d'actions. Les méthodes précédentes modélisaient les squelettes à l'aide de réseaux de neurones récurrents (RNN) ou de réseaux de neurones convolutifs (CNN), ce qui limitait leur puissance expressive pour les articulations irrégulières du squelette. Bien que les réseaux de neurones convolutifs sur graphe (GCN) aient été proposés pour traiter des données structurées en graphe irrégulier, la construction fondamentale du graphe reste un défi. Dans cet article, nous représentons naturellement les squelettes sur des graphes et proposons un GCN basé sur une régression de graphe (GR-GCN) pour la reconnaissance d'actions basée sur le squelette, visant à capturer la variation spatio-temporelle dans les données.Comme la représentation par graphe est cruciale pour la convolution de graphe, nous proposons tout d'abord une régression de graphe pour apprendre statistiquement le graphe sous-jacent à partir de multiples observations. Plus précisément, nous modélisons les squelettes de manière spatio-temporelle et formulons un problème d'optimisation sur la structure du graphe au fil des images consécutives, ce qui impose la parcimonie du graphe sous-jacent pour une représentation efficace. Le graphe optimisé non seulement relie chaque articulation fortement ou faiblement à ses articulations voisines dans le même cadre, mais il établit également des liens avec les articulations pertinentes dans les cadres précédents et suivants.Nous alimentons ensuite le graphe optimisé dans le GCN avec les coordonnées de la séquence squelettique pour l'apprentissage des caractéristiques, où nous utilisons une approximation rapide et d'ordre élevé de la convolution spectrale sur graphe selon Chebyshev. De plus, nous fournissons une analyse de la caractérisation des variations par l'approximation Chebyshev. Les résultats expérimentaux valident l'efficacité de la régression de graphe proposée et montrent que le GR-GCN proposé atteint des performances au niveau de l'état de l'art sur les jeux de données largement utilisés NTU RGB+D, UT-Kinect et SYSU 3D.