Reconnaissance d'actions basée sur le squelette à l'aide d'un réseau LSTM spatio-temporel avec des portes de confiance

La reconnaissance d'actions humaines basée sur le squelette a suscité beaucoup d'attention de la part de la recherche ces dernières années. Les travaux récents ont tenté d'utiliser des réseaux neuronaux récurrents pour modéliser les dépendances temporelles entre les configurations positionnelles 3D des articulations du corps humain, afin d'améliorer l'analyse des activités humaines dans les données squelettiques. Le travail proposé étend cette idée aux domaines spatiaux et temporels, afin d'analyser de manière plus efficace les sources cachées d'informations liées aux actions au sein des séquences squelettiques humaines simultanément dans ces deux domaines. Sur la base de la structure picturale des données squelettiques de Kinect, un cadre de parcours basé sur une structure arborescente efficace est également proposé. Pour traiter le bruit présent dans les données squelettiques, un nouveau mécanisme de porte (gating mechanism) au sein du module LSTM est introduit, permettant au réseau d'apprendre la fiabilité des données séquentielles et d'ajuster en conséquence l'influence des données d'entrée sur le processus de mise à jour de la représentation contextuelle à long terme stockée dans la cellule mémoire de l'unité. De plus, nous présentons dans cet article une nouvelle stratégie de fusion multimodale des caractéristiques au sein de l'unité LSTM. Les résultats expérimentaux complets sur sept jeux de données基准数据集 (benchmark datasets) difficiles pour la reconnaissance d'actions humaines démontrent l'efficacité de la méthode proposée.Note: I have used "jeu de données" for "dataset" as it is the most common term in French for this concept. For "benchmark datasets," I have kept the original term in parentheses to ensure clarity, as it may not be universally understood without context in French scientific literature.