Revisiter la reconnaissance d'actions basée sur le squelette

Le squelette humain, en tant que représentation compacte de l'action humaine, a reçu une attention croissante ces dernières années. De nombreuses méthodes de reconnaissance d'actions basées sur le squelette ont adopté des réseaux de convolution graphique (GCN) pour extraire des caractéristiques à partir des squelettes humains. Malgré les résultats positifs démontrés dans les travaux précédents, les méthodes basées sur GCN sont sujettes à des limitations en termes de robustesse, d'interopérabilité et d'évolutivité. Dans ce travail, nous proposons PoseC3D, une nouvelle approche de reconnaissance d'actions basée sur le squelette qui s'appuie sur un empilement de cartes thermiques 3D plutôt qu'une séquence graphique comme représentation de base du squelette humain. Comparativement aux méthodes basées sur GCN, PoseC3D est plus efficace pour apprendre des caractéristiques spatio-temporelles, plus robuste face aux bruits d'estimation de la posture et se généralise mieux dans des configurations inter-bases. De plus, PoseC3D peut gérer des scénarios impliquant plusieurs personnes sans coût computationnel supplémentaire, et ses caractéristiques peuvent être facilement intégrées avec d'autres modalités dès les premières étapes de fusion, ce qui offre un vaste espace de conception pour améliorer davantage les performances. Sur quatre jeux de données difficiles, PoseC3D obtient systématiquement des performances supérieures, que ce soit lorsqu'il est utilisé seul sur les squelettes ou en combinaison avec la modalité RGB.