Sur les caractéristiques géométriques pour la reconnaissance d’actions basée sur les squelettes utilisant des réseaux LSTM multicouches

Les approches basées sur les RNN ont atteint des performances remarquables pour la reconnaissance d’actions à partir d’entrées squelettiques. Actuellement, ces méthodes limitent leurs entrées aux coordonnées des articulations et améliorent principalement la précision en étendant les modèles RNN vers des domaines spatiaux de diverses manières. Alors que ces modèles explorent directement les relations entre différentes parties à partir des coordonnées des articulations, nous proposons une méthode universelle simple de modélisation spatiale, complémentaire à l’amélioration des modèles RNN. Plus précisément, nous sélectionnons un ensemble de caractéristiques géométriques simples, motivées par l’évolution des travaux antérieurs. À l’aide d’expériences menées sur un cadre LSTM à trois couches, nous observons que les caractéristiques relationnelles géométriques basées sur les distances entre les articulations et des droites sélectionnées surpassent les autres caractéristiques et atteignent des résultats de pointe sur quatre jeux de données. En outre, nous mettons en évidence la sparsité des poids de la porte d’entrée dans la première couche LSTM entraînée à partir de caractéristiques géométriques, et démontrons que l’utilisation des distances articulation-droite comme entrée nécessite moins de données pour l’entraînement.