Capsules d'Action : Reconnaissance des Actions à Partir du Squelette Humain

En raison de la compacité et de la richesse des représentations de haut niveau qu’elles offrent, la reconnaissance d’actions humaines basée sur les squelettes est devenue récemment un domaine de recherche particulièrement actif. Les études antérieures ont démontré que l’analyse des relations entre les articulations dans les dimensions spatiale et temporelle fournit des informations efficaces et essentielles pour la reconnaissance des actions. Toutefois, l’encodage efficace des dépendances globales entre les articulations lors de l’extraction des caractéristiques spatio-temporelles reste un défi. Dans cet article, nous proposons Action Capsule, une méthode qui identifie les articulations clés liées à une action en tenant compte des corrélations latentes entre les articulations au sein d’une séquence squelettique. Nous montrons qu’au moment de l’inférence, notre réseau end-to-end se concentre sur un ensemble d’articulations spécifiques à chaque action, dont les caractéristiques spatio-temporelles encodées sont agrégées pour reconnaître l’action. En outre, l’utilisation de plusieurs étapes de capsules d’actions renforce la capacité du réseau à distinguer des actions similaires. Par conséquent, notre architecture dépasse les approches les plus avancées sur le jeu de données N-UCLA et obtient des résultats compétitifs sur le jeu de données NTURGBD, tout en nécessitant des ressources computationnelles significativement réduites, comme le montrent les mesures en GFLOPs.