Réseau de convolution de graphe à découplage temporel pour la reconnaissance de gestes basée sur la structure squelettique

Les méthodes de reconnaissance de gestes basées sur les squelettes ont obtenu des résultats très prometteurs grâce au réseau de convolution sur graphe (GCN), qui utilise généralement une matrice d’adjacence pour modéliser la topologie spatiale des squelettes. Toutefois, les approches précédentes emploient la même matrice d’adjacence pour les squelettes provenant de différentes trames, ce qui limite la capacité du GCN à modéliser efficacement les informations temporelles. Pour résoudre ce problème, nous proposons un réseau de convolution sur graphe à découplage temporel (TD-GCN), qui applique des matrices d’adjacence différentes aux squelettes provenant de trames distinctes. Les étapes principales de chaque couche de convolution dans notre TD-GCN sont les suivantes : afin d’extraire des informations spatio-temporelles profondes à partir des joints du squelette, nous commençons par extraire des caractéristiques spatio-temporelles de haut niveau à partir des données squelettiques. Ensuite, nous calculons des matrices d’adjacence dépendantes des canaux et dépendantes du temps, correspondant à différents canaux et trames, afin de capturer les dépendances spatio-temporelles entre les joints du squelette. Enfin, pour fusionner l’information de topologie provenant des joints voisins, les caractéristiques spatio-temporelles des joints du squelette sont fusionnées à l’aide des matrices d’adjacence dépendantes des canaux et dépendantes du temps. À notre connaissance, nous sommes les premiers à utiliser des matrices d’adjacence dépendantes du temps pour l’apprentissage de la topologie sensible au temps à partir des joints squelettiques. Le TD-GCN proposé améliore efficacement la capacité de modélisation du GCN et atteint des résultats de pointe sur des jeux de données de gestes, notamment SHREC'17 Track et DHG-14/28. Notre code est disponible à l’adresse suivante : https://github.com/liujf69/TD-GCN-Gesture.