HyperAIHyperAI

Command Palette

Search for a command to run...

GaitMixer: Skelettbasiertes Gait-Repräsentationslernen durch breitbandigen Multiachs-Mixer

Ekkasit Pinyoanuntapong Ayman Ali Pu Wang Minwoo Lee Chen Chen

Zusammenfassung

Die meisten existierenden Ganganalysemethoden basieren auf dem Erscheinungsbild und stützen sich auf die aus Videoaufnahmen von menschlichen Gehbewegungen extrahierten Silhouetten. Die weniger untersuchten, auf Skelettdaten basierenden Methoden lernen die Gangdynamik direkt aus 2D/3D-Skelettsequenzen, was theoretisch robustere Lösungen bei Veränderungen des Erscheinungsbildes durch Kleidung, Frisuren und getragene Gegenstände darstellt. Dennoch liegt die Leistung der Skelettbasierten Lösungen noch weit hinter den Erscheinungsbild-basierten Methoden. Dieses Papier zielt darauf ab, diesen Leistungsunterschied zu verringern, indem es ein neues Netzwerkmodell, GaitMixer, vorschlägt, das eine differenziertere Darstellung von Gangbewegungen aus Skelettsequenzdaten lernt. Insbesondere folgt GaitMixer einer heterogenen Multi-Achsen-Mixer-Architektur, die den räumlichen Selbst-Attention-Mixer mit dem zeitlichen Konvolution-Mixer mit großem Kern kombiniert, um reichhaltige Mehrfrequenzsignale in den Gangmerkmalskarten zu erlernen. Experimente anhand der weit verbreiteten Gangdatenbank CASIA-B zeigen, dass GaitMixer die bisherigen besten (SOTA) Skelettbasierten Methoden deutlich übertrifft und gleichzeitig eine wettbewerbsfähige Leistung im Vergleich zu repräsentativen Erscheinungsbild-basierten Lösungen erreicht. Der Quellcode wird unter https://github.com/exitudio/gaitmixer zur Verfügung gestellt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp