HyperAIHyperAI

Command Palette

Search for a command to run...

GaitMixer : Apprentissage de représentations de la démarche basées sur le squelette par un mélangeur multi-axial à large spectre

Ekkasit Pinyoanuntapong Ayman Ali Pu Wang Minwoo Lee Chen Chen

Résumé

La plupart des méthodes de reconnaissance de la démarche existantes sont basées sur l'apparence, ce qui signifie qu'elles s'appuient sur les silhouettes extraites des données vidéo d'activités de marche humaine. Les méthodes de reconnaissance de la démarche basées sur le squelette, moins étudiées, apprennent directement la dynamique de la démarche à partir de séquences de squelettes humains 2D/3D, qui constituent théoriquement des solutions plus robustes en présence de changements d'apparence dus aux vêtements, aux coupes de cheveux et aux objets transportés. Cependant, les performances des solutions basées sur le squelette restent largement en retard par rapport à celles basées sur l'apparence. Cet article vise à combler cet écart de performance en proposant un nouveau modèle de réseau, GaitMixer, pour apprendre une représentation plus discriminante de la démarche à partir des données de séquences squelettiques. Plus précisément, GaitMixer suit une architecture mixte hétérogène multi-axiale, qui exploite un mélangeur d'auto-attention spatiale suivi d'un mélangeur de convolution à noyau large temporel pour apprendre des signaux multifréquentiels riches dans les cartes de caractéristiques de la démarche. Les expériences menées sur la base de données de démarche largement utilisée CASIA-B montrent que GaitMixer surpassent les méthodes squelettiques précédentes SOTA (State Of The Art) avec une grande marge tout en atteignant une performance compétitive par rapport aux solutions basées sur l'apparence représentatives. Le code sera disponible à l'adresse suivante : https://github.com/exitudio/gaitmixer


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp