Apprentissage temporel multi-flux efficace et stratégie de post-fusion pour la reconnaissance d'activités manuelles basée sur des squelettes 3D

La reconnaissance de l’activité manuelle en première personne constitue une tâche difficile, en particulier lorsque les données disponibles sont insuffisantes. Dans cet article, nous abordons ce défi en proposant une nouvelle pipeline d’apprentissage hybride pour la reconnaissance d’activités manuelles basée sur les squelettes, composée de trois blocs. Tout d’abord, pour une séquence donnée des positions des articulations de la main, les caractéristiques spatiales sont extraites à l’aide d’une combinaison spécifique de caractéristiques spatiales locales et globales, conçues manuellement. Ensuite, les dépendances temporelles sont apprises à l’aide d’une stratégie d’apprentissage multi-flux. Enfin, un classificateur de séquences d’activités manuelles est appris via notre stratégie de post-fusion, appliquée aux dépendances temporelles précédemment apprises. Les expérimentations, évaluées sur deux jeux de données réels, montrent que notre approche surpasse les méthodes de pointe. Pour des études d’ablation plus approfondies, nous avons comparé notre stratégie de post-fusion à trois bases de fusion traditionnelles, révélant une amélioration de précision supérieure à 2,4 %.