Perte d'embedding squelettique et sémantique conjointe pour la classification des micro-gestes

Dans cet article, nous présentons brièvement la solution proposée par notre équipe HFUT-VUT pour la classification des micro-gestes dans le défi MiGA au IJCAI 2023. La tâche de classification des micro-gestes vise à reconnaître la catégorie d'action d'une vidéo donnée en se basant sur les données squelettiques. Pour cette tâche, nous proposons un réseau de reconnaissance des micro-gestes basé sur des CNNs 3D (3D Convolutional Neural Networks), qui intègre une perte d'embedding squelettique et sémantique afin d'améliorer les performances de classification des actions. Enfin, nous avons obtenu le premier rang dans le défi de Classification des Micro-gestes, surpassant l'équipe classée deuxième en termes de précision Top-1 de 1,10 %.