Command Palette
Search for a command to run...
LSTM spatio-temporel à portes de confiance pour la reconnaissance d'actions humaines 3D
LSTM spatio-temporel à portes de confiance pour la reconnaissance d'actions humaines 3D
Liu Jun Shahroudy Amir Xu Dong Wang Gang
Résumé
La reconnaissance d’actions en 3D – qui repose sur l’analyse des données de squelette tridimensionnelles – connaît un regain de popularité récent grâce à sa concision, sa robustesse et sa représentation invariante par rapport à la vue. Les approches récentes de ce problème ont proposé de développer des méthodes d’apprentissage basées sur les réseaux de neurones récurrents (RNN) afin de modéliser les dépendances contextuelles dans le domaine temporel. Dans cet article, nous étendons cette idée aux domaines spatio-temporels afin d’analyser simultanément les sources cachées d’informations liées aux actions présentes dans les données d’entrée, à la fois dans le temps et dans l’espace. Inspirés par la structure graphique du squelette humain, nous proposons également une méthode de parcours plus puissante fondée sur une structure arborescente. Pour traiter le bruit et les occlusions présents dans les données de squelette 3D, nous introduisons un nouveau mécanisme de mise en gateau (gating) à l’intérieur des LSTM, permettant d’apprendre la fiabilité des données d’entrée séquentielles et d’ajuster en conséquence leur influence sur la mise à jour des informations contextuelles à long terme stockées dans la cellule de mémoire. Notre méthode atteint des performances de pointe sur quatre jeux de données standard exigeants pour l’analyse d’actions humaines en 3D.