HyperAIHyperAI

Command Palette

Search for a command to run...

MSA-GCN: Ausnutzung von Multi-Skalen-Zeitdynamiken mit adaptiver Graph-Convolution für die Gelenk-basierte Aktenerkennung

Ji-Hyeong Han Kowovi Comivi Alowonou

Zusammenfassung

Graphenbasierte Faltungsnetzwerke (GCNs) werden weit verbreitet eingesetzt und haben in der aktionsbasierten Anerkennung auf Grundlage von Skelett-Daten beachtliche Ergebnisse erzielt. Dabei stellen wir fest, dass bestehende GCN-basierte Ansätze auf lokalen Kontextinformationen der Skelettgelenke beruhen, um adaptive Graphen zur Merkmalsaggregation zu konstruieren, was ihre Fähigkeit einschränkt, Aktionen zu verstehen, die koordinierte Bewegungen über verschiedene Körperregionen hinweg beinhalten. Ein adaptiver Graph, der auf globalen Kontextinformationen der Gelenke basiert, könnte diese Einschränkung überwinden. Daher stellen wir in diesem Artikel einen neuartigen Ansatz zur Skelett-basierten Aktionserkennung vor, namens Multi-stage Adaptive Graph Convolution Network (MSA-GCN). Das Modell besteht aus zwei Modulen: Multi-stage Adaptive Graph Convolution (MSA-GC) und Temporal Multi-Scale Transformer (TMST). Beide Module arbeiten zusammen, um komplexe räumliche und zeitliche Muster in Skelett-Daten effektiv zu erfassen. Insbesondere nutzt MSA-GC sowohl lokale als auch globale Kontextinformationen der Gelenke über alle Sequenzen hinweg, um den adaptiven Graphen zu konstruieren und das Verständnis komplexer und fein abgestufter Beziehungen zwischen Gelenken zu fördern. Das TMST-Modul hingegen integriert eine Gated Multi-stage Temporal Convolution (GMSTC) mit einer Temporal Multi-Head Self-Attention (TMHSA), um globale zeitliche Merkmale zu erfassen und sowohl langfristige als auch kurzfristige Abhängigkeiten innerhalb von Aktionssequenzen zu berücksichtigen. Durch umfangreiche Experimente auf mehreren Benchmark-Datensätzen – darunter NTU RGB+D 60, NTU RGB+D 120 und Northwestern-UCLA – erreicht MSA-GCN den Stand der Technik und bestätigt seine Wirksamkeit in der Skelett-basierten Aktionserkennung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp