Une Nouvelle Représentation de Séquences Squelettiques pour la Reconnaissance d'Actions en 3D

Ce document présente une nouvelle méthode pour la reconnaissance d'actions en 3D à partir de séquences squelettiques (c'est-à-dire les trajectoires en 3D des articulations du squelette humain). La méthode proposée transforme d'abord chaque séquence squelettique en trois clips, chacun composé de plusieurs images, pour l'apprentissage de caractéristiques spatio-temporelles à l'aide de réseaux neuronaux profonds. Chaque clip est généré à partir d'un canal des coordonnées cylindriques de la séquence squelettique. Chaque image des clips générés représente l'information temporelle de toute la séquence squelettique et intègre une relation spatiale particulière entre les articulations. Les clips complets comprennent plusieurs images avec différentes relations spatiales, ce qui fournit des informations structurales spatiales utiles sur le squelette humain. Nous proposons d'utiliser des réseaux neuronaux convolutifs profonds pour apprendre l'information temporelle à long terme de la séquence squelettique à partir des images des clips générés, puis d'utiliser un réseau d'apprentissage multitâche (Multi-Task Learning Network - MTLN) pour traiter simultanément toutes les images des clips générés afin d'intégrer les informations structurelles spatiales pour la reconnaissance d'actions. Les résultats expérimentaux montrent clairement l'efficacité de la nouvelle représentation et de la méthode d'apprentissage de caractéristiques proposées pour la reconnaissance d'actions en 3D.