NTU-X : Un jeu de données à grande échelle amélioré pour améliorer la reconnaissance des actions humaines subtils basée sur la posture

Le manque de joints à forte granularité (joints faciaux, doigts des mains) constitue un goulot d'étranglement fondamental pour les modèles d'identification d'actions à partir de squelettes actuellement les plus performants. Malgré ce goulot d'étranglement, les efforts de la communauté semblent se concentrer principalement sur la conception d'architectures nouvelles. Afin de cibler spécifiquement ce problème, nous introduisons deux nouveaux jeux de données d'actions humaines basés sur la posture — NTU60-X et NTU120-X. Nos jeux de données étendent le plus grand jeu de données existant pour la reconnaissance d'actions, à savoir NTU-RGBD. En plus des 25 joints corporels par squelette présents dans NTU-RGBD, les jeux de données NTU60-X et NTU120-X incluent également des joints des doigts et des joints faciaux, permettant ainsi une représentation squelettique plus riche. Nous adaptons de manière appropriée les approches les plus avancées afin de permettre l'entraînement sur ces nouveaux jeux de données. Nos résultats démontrent l'efficacité de ces jeux de données NTU-X dans la surmontation du problème mentionné précédemment, et améliorent les performances actuelles de l'état de l'art, tant globalement qu'au sein des catégories d'actions précédemment les moins performantes. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/skelemoa/ntu-x.