Encodage des caractéristiques de sommet et modélisation hiérarchique temporelle dans un réseau de convolution sur graphe spatio-temporel pour la reconnaissance d'actions

Cet article étend le réseau de convolution sur graphe spatio-temporel (ST-GCN) pour la reconnaissance d’actions basée sur les squelettes en introduisant deux modules novateurs : le encodeur de caractéristiques de sommets de graphe (GVFE) et le réseau de convolution temporelle hiérarchique à dilatation (DH-TCN). D’une part, le module GVFE apprend des caractéristiques de sommets adaptées à la reconnaissance d’actions en encodant les données brutes de squelette dans un nouvel espace de caractéristiques. D’autre part, le module DH-TCN est capable de capturer à la fois les dépendances temporelles à court et à long terme grâce à un réseau de convolution hiérarchique à dilatation. Des expériences ont été menées sur les ensembles de données exigeants NTU RGB-D-60 et NTU RGB-D 120. Les résultats obtenus montrent que notre méthode rivalise avec les approches les plus avancées tout en utilisant un nombre réduit de couches et de paramètres, réduisant ainsi le temps d’entraînement et la consommation de mémoire requise.