GaitMixer: Skelettbasiertes Gait-Repräsentationslernen durch breitbandigen Multiachs-Mixer

Die meisten existierenden Ganganalysemethoden basieren auf dem Erscheinungsbild und stützen sich auf die aus Videoaufnahmen von menschlichen Gehbewegungen extrahierten Silhouetten. Die weniger untersuchten, auf Skelettdaten basierenden Methoden lernen die Gangdynamik direkt aus 2D/3D-Skelettsequenzen, was theoretisch robustere Lösungen bei Veränderungen des Erscheinungsbildes durch Kleidung, Frisuren und getragene Gegenstände darstellt. Dennoch liegt die Leistung der Skelettbasierten Lösungen noch weit hinter den Erscheinungsbild-basierten Methoden. Dieses Papier zielt darauf ab, diesen Leistungsunterschied zu verringern, indem es ein neues Netzwerkmodell, GaitMixer, vorschlägt, das eine differenziertere Darstellung von Gangbewegungen aus Skelettsequenzdaten lernt. Insbesondere folgt GaitMixer einer heterogenen Multi-Achsen-Mixer-Architektur, die den räumlichen Selbst-Attention-Mixer mit dem zeitlichen Konvolution-Mixer mit großem Kern kombiniert, um reichhaltige Mehrfrequenzsignale in den Gangmerkmalskarten zu erlernen. Experimente anhand der weit verbreiteten Gangdatenbank CASIA-B zeigen, dass GaitMixer die bisherigen besten (SOTA) Skelettbasierten Methoden deutlich übertrifft und gleichzeitig eine wettbewerbsfähige Leistung im Vergleich zu repräsentativen Erscheinungsbild-basierten Lösungen erreicht. Der Quellcode wird unter https://github.com/exitudio/gaitmixer zur Verfügung gestellt.