SkateFormer : Transformers squelettiques-temporels pour la reconnaissance des actions humaines

La reconnaissance d'actions basée sur le squelette, qui classe les actions humaines en fonction des coordonnées des articulations et de leur connectivité au sein des données squelettiques, est largement utilisée dans divers scénarios. Bien que des réseaux de neurones convolutionnels sur graphes (GCNs) aient été proposés pour représenter les données squelettiques sous forme de graphes, ils souffrent de champs récepteurs limités par la connectivité des articulations. Pour remédier à cette limitation, les avancées récentes ont introduit des méthodes basées sur les transformateurs. Cependant, capturer les corrélations entre toutes les articulations dans tous les cadres nécessite d'importantes ressources mémoire. Afin d'alléger ce problème, nous proposons une nouvelle approche appelée Skeletal-Temporal Transformer (SkateFormer), qui partitionne les articulations et les cadres en fonction de différents types de relations squeletto-temporelles (Skate-Type) et effectue l'auto-attention squeletto-temporelle (Skate-MSA) au sein de chaque partition. Nous catégorisons les principales relations squeletto-temporelles pour la reconnaissance d'actions en quatre types distincts. Ces types combinent (i) deux types de relations squelettiques basés sur des articulations physiquement voisines et éloignées, et (ii) deux types de relations temporelles basés sur des cadres voisins et éloignés. Grâce à cette stratégie d'attention spécifique aux partitions, notre SkateFormer peut se concentrer sélectivement sur les articulations et cadres clés essentiels pour la reconnaissance d'actions de manière adaptative à l'action tout en assurant un calcul efficace. De nombreuses expériences menées sur divers jeux de données de référence valident que notre SkateFormer surpassent les méthodes récentes de pointe.