HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Temporale Entkoppelungsgraphenfaltung für die Gestenerkennung basierend auf Skelettinformationen

{Mengyuan Liu Yuan Gao Can Wang Xinshun Wang Jinfu Liu}

Abstract

Methoden zur Gestenerkennung auf Basis von Skelettdaten haben mit Graphen-Convolutional Networks (GCN) erheblichen Erfolg erzielt, wobei üblicherweise eine Adjazenzmatrix zur Modellierung der räumlichen Topologie von Skeletten verwendet wird. Allerdings verwenden bisherige Ansätze dieselbe Adjazenzmatrix für Skelette aus unterschiedlichen Frames, was die Flexibilität der GCN zur Modellierung zeitlicher Informationen einschränkt. Um dieses Problem zu lösen, schlagen wir ein Temporäres Entkoppelungsgewichtetes Graphen-Convolutional Network (TD-GCN) vor, das für Skelette aus verschiedenen Frames unterschiedliche Adjazenzmatrizen anwendet. Die zentralen Schritte jeder Konvolutionsschicht im vorgeschlagenen TD-GCN sind wie folgt: Um tiefgehende räumlich-zeitliche Informationen aus den Gelenken des Skeletts zu extrahieren, ziehen wir zunächst hochwertige räumlich-zeitliche Merkmale aus den Skelettdaten. Anschließend berechnen wir kanalabhängige und zeitabhängige Adjazenzmatrizen, die jeweils unterschiedlichen Kanälen und Frames entsprechen, um die räumlich-zeitlichen Abhängigkeiten zwischen den Skelettgelenken zu erfassen. Schließlich werden die räumlich-zeitlichen Merkmale der Skelettgelenke basierend auf den kanal- und zeitabhängigen Adjazenzmatrizen gefaltet, um Topologieinformationen aus benachbarten Gelenken zu integrieren. Soweit uns bekannt ist, sind wir die Ersten, die zeitabhängige Adjazenzmatrizen zur zeitempfindlichen Topologie-Lernung aus Skelettgelenken einsetzen. Das vorgeschlagene TD-GCN verbessert effektiv die Modellierungsfähigkeit der GCN und erzielt state-of-the-art Ergebnisse auf mehreren Gesten-Datensätzen, darunter SHREC'17 Track sowie DHG-14/28. Der Quellcode ist unter folgender URL verfügbar: https://github.com/liujf69/TD-GCN-Gesture.

Benchmarks

BenchmarkMethodikMetriken
hand-gesture-recognition-on-dhg-14TD-GCN
Accuracy: 93.9
hand-gesture-recognition-on-dhg-28TD-GCN
Accuracy: 91.4
skeleton-based-action-recognition-on-n-uclaTD-GCN
Accuracy: 97.4
skeleton-based-action-recognition-on-ntu-rgbdTD-GCN
Accuracy (CS): 92.8
Accuracy (CV): 96.8
Ensembled Modalities: 4
skeleton-based-action-recognition-on-shrecTD-GCN
14 gestures accuracy: 97.02
28 gestures accuracy: 95.36
skeleton-based-action-recognition-on-uavTD-GCN
CSv1(%): 45.43
CSv2(%): 72.86

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Temporale Entkoppelungsgraphenfaltung für die Gestenerkennung basierend auf Skelettinformationen | Forschungsarbeiten | HyperAI