Apprentissage profond pour la reconnaissance de gestes manuels à partir de données squelettiques

Dans cet article, nous présentons une nouvelle approche de reconnaissance de gestes manuels en 3D fondée sur un modèle d’apprentissage profond. Nous introduisons un nouveau réseau de neurones convolutifs (CNN) dans lequel des séquences de positions des articulations squelettiques de la main sont traitées par des convolutions parallèles ; nous étudions ensuite les performances de ce modèle sur des tâches de classification de séquences de gestes manuels. Notre modèle n’utilise que des données squelettiques de la main et ne nécessite aucune image en profondeur. Les résultats expérimentaux montrent que notre approche atteint une performance de pointe sur un jeu de données exigeant (jeu de données DHG issu du concours SHREC 2017 pour la récupération de formes 3D), en comparaison avec d'autres méthodes publiées. Notre modèle obtient une précision de classification de 91,28 % pour le cas de 14 classes de gestes et une précision de 84,35 % pour le cas de 28 classes de gestes.