Construire des graphes dynamiques pour la reconnaissance des gestes de la main par l'attention spatio-temporelle

Nous proposons une méthode d'Attention Spatio-Temporelle Basée sur un Graphe Dynamique (DG-STA) pour la reconnaissance des gestes de la main. L'idée principale est de construire initialement un graphe entièrement connecté à partir d'un squelette de main, où les caractéristiques des nœuds et les arêtes sont ensuite apprises automatiquement grâce à un mécanisme d'auto-attention qui opère dans les domaines spatial et temporel. Nous proposons également d'exploiter les indices spatio-temporels des positions articulaires pour garantir une reconnaissance robuste dans des conditions difficiles. De plus, un masque spatio-temporel novateur est appliqué pour réduire considérablement le coût computationnel de 99 %. Nous menons des expériences approfondies sur des benchmarks (DHG-14/28 et SHREC'17) et démontrons la supériorité des performances de notre méthode par rapport aux méthodes de pointe actuelles. Le code source est disponible à l'adresse suivante : https://github.com/yuxiaochen1103/DG-STA.