Réseau à fonctionnalités de mouvement augmentées pour la reconnaissance de gestes dynamiques de main à partir de données squelettiques

La reconnaissance des gestes dynamiques de la main a suscité un intérêt croissant en raison de son importance pour l’interaction homme-machine. Dans cet article, nous proposons un nouveau réseau à fonctionnalités motionnelles augmentées (MFA-Net) pour la reconnaissance des gestes dynamiques de la main à partir de données squelettiques. Le MFA-Net exploite les caractéristiques de mouvement des doigts ainsi que les mouvements globaux du corps pour enrichir les représentations du réseau profond en vue de la reconnaissance des gestes. Pour modéliser les mouvements articulés des doigts, des caractéristiques de mouvement des doigts sont extraites à partir de séquences squelettiques de la main à l’aide d’un autoencodeur variationnel. Les caractéristiques de mouvement global sont quant à elles utilisées pour représenter les mouvements globaux du squelette de la main. Ces caractéristiques motionnelles, combinées à la séquence squelettique, sont ensuite introduites dans trois branches d’un réseau de neurones récurrents (RNN), qui permettent d’enrichir les caractéristiques motionnelles et d’améliorer les performances de classification. Le MFA-Net proposé a été évalué sur deux jeux de données exigeants basés sur le squelette, à savoir le jeu de données DHG-14/28 et le jeu de données SHREC’17. Les résultats expérimentaux montrent que notre méthode atteint des performances comparables sur le jeu de données DHG-14/28, tout en surpassant les méthodes de pointe sur le jeu de données SHREC’17.