HyperAIHyperAI

Command Palette

Search for a command to run...

SkateFormer: Skelettaler Transformer für die Erkennung menschlicher Aktionen

Jeonghyeok Do Munchurl Kim

Zusammenfassung

Skelettbasierte Aktionserkennung, die menschliche Aktionen auf Grundlage der Koordinaten von Gelenken und ihrer Verbindungen innerhalb von Skelett-Daten klassifiziert, wird in verschiedenen Szenarien weit verbreitet eingesetzt. Obwohl Graph Convolutional Networks (GCNs) für Skelett-Daten, die als Graphen dargestellt werden, vorgeschlagen wurden, leiden sie unter begrenzten Rezeptionsfeldern, die durch die Gelenkverbindungen eingeschränkt sind. Um diese Einschränkung zu überwinden, haben jüngste Fortschritte transformerbasierte Methoden eingeführt. Allerdings erfordert das Erfassen von Korrelationen zwischen allen Gelenken in allen Bildern erhebliche Speicherressourcen. Um dies zu mildern, schlagen wir einen neuen Ansatz vor, den Skelettbasierten Temporalen Transformer (Skeletal-Temporal Transformer, SkateFormer), der Gelenke und Bilder basierend auf verschiedenen Arten von skelettbasierten temporalen Beziehungen (Skeletal-Temporal Relation Type, Skate-Type) segmentiert und innerhalb jeder Segmentierung skelettbasierte temporale Selbst-Attention (Skeletal-Temporal Self-Attention, Skate-MSA) durchführt. Wir kategorisieren die wesentlichen skelettbasierten temporalen Beziehungen für Aktionserkennung in insgesamt vier verschiedene Typen. Diese Typen kombinieren (i) zwei Arten von skelettbasierten Beziehungen basierend auf physisch benachbarten und entfernten Gelenken sowie (ii) zwei Arten von temporalen Beziehungen basierend auf benachbarten und entfernten Bildern. Durch diese segment-spezifische Aufmerksamkeitsstrategie kann unser SkateFormer selektiv auf die für die Aktionserkennung entscheidenden Gelenke und Bilder fokussieren und dies effizient berechnen. Ausführliche Experimente auf verschiedenen Benchmark-Datensätzen bestätigen, dass unser SkateFormer jüngste Stand-of-the-Art-Methoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SkateFormer: Skelettaler Transformer für die Erkennung menschlicher Aktionen | Paper | HyperAI