HyperAIHyperAI

Command Palette

Search for a command to run...

SkateFormer : Transformers squelettiques-temporels pour la reconnaissance des actions humaines

Jeonghyeok Do Munchurl Kim

Résumé

La reconnaissance d'actions basée sur le squelette, qui classe les actions humaines en fonction des coordonnées des articulations et de leur connectivité au sein des données squelettiques, est largement utilisée dans divers scénarios. Bien que des réseaux de neurones convolutionnels sur graphes (GCNs) aient été proposés pour représenter les données squelettiques sous forme de graphes, ils souffrent de champs récepteurs limités par la connectivité des articulations. Pour remédier à cette limitation, les avancées récentes ont introduit des méthodes basées sur les transformateurs. Cependant, capturer les corrélations entre toutes les articulations dans tous les cadres nécessite d'importantes ressources mémoire. Afin d'alléger ce problème, nous proposons une nouvelle approche appelée Skeletal-Temporal Transformer (SkateFormer), qui partitionne les articulations et les cadres en fonction de différents types de relations squeletto-temporelles (Skate-Type) et effectue l'auto-attention squeletto-temporelle (Skate-MSA) au sein de chaque partition. Nous catégorisons les principales relations squeletto-temporelles pour la reconnaissance d'actions en quatre types distincts. Ces types combinent (i) deux types de relations squelettiques basés sur des articulations physiquement voisines et éloignées, et (ii) deux types de relations temporelles basés sur des cadres voisins et éloignés. Grâce à cette stratégie d'attention spécifique aux partitions, notre SkateFormer peut se concentrer sélectivement sur les articulations et cadres clés essentiels pour la reconnaissance d'actions de manière adaptative à l'action tout en assurant un calcul efficace. De nombreuses expériences menées sur divers jeux de données de référence valident que notre SkateFormer surpassent les méthodes récentes de pointe.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp