Reconnaissance de gestes manuels dynamiques basée sur la profondeur et le squelette par CNN+RNN

La reconnaissance des activités humaines et des gestes constitue un élément fondamental du domaine en pleine expansion de l’intelligence ambiante, en particulier dans le cadre de l’assistance aux habitats intelligents et aux maisons intelligentes. Dans cet article, nous proposons de combiner les capacités de deux techniques d’apprentissage profond, à savoir les réseaux de neurones convolutifs (CNN) et les réseaux de neurones récurrents (RNN), afin de réaliser une reconnaissance automatique des gestes manuels à partir à la fois de données de profondeur et de données squelettiques. Chacun de ces types de données peut être utilisé indépendamment pour entraîner des réseaux de neurones à reconnaître des gestes manuels. Bien que les RNN aient déjà été rapportés comme performants dans la reconnaissance de séquences de mouvements pour chaque articulation squelettique, lorsque seules les informations squelettiques sont disponibles, cette étude vise à exploiter les données de profondeur et à appliquer les CNN pour extraire des informations spatiales pertinentes à partir des images de profondeur. Ensemble, la chaîne CNN+RNN permet une reconnaissance plus précise d’une séquence de gestes. Par ailleurs, diverses stratégies de fusion sont étudiées afin de combiner efficacement les informations squelettiques et de profondeur, dans le but d’extraire des informations temporo-spatiales. Une précision globale de 85,46 % est atteinte sur le jeu de données de gestes manuels dynamiques DHG-14/28.