Motion feature augmented network for dynamic hand gesture recognition from skeletal data
{Hang Wang 1 Guijin Wang Cairong Zhang Xinghao Chen Hengkai Guo and Li Zhang}
Abstract
Die dynamische Gestenerkennung der Hand hat aufgrund ihrer Bedeutung für die Mensch-Computer-Interaktion zunehmend an Aufmerksamkeit gewonnen. In diesem Artikel stellen wir ein neuartiges Motion-Feature-erweitertes Netzwerk (MFA-Net) zur Erkennung dynamischer Handgesten aus Skelett-Daten vor. MFA-Net nutzt Bewegungsmerkmale der Finger sowie globale Bewegungen, um die Merkmale eines tiefen neuronalen Netzes für die Gestenerkennung zu erweitern. Um die Gelenkbewegungen der Finger präzise zu beschreiben, werden Finger-Bewegungsmerkmale aus der Sequenz des Hand-Skeletts mittels eines variationalen Autoencoders extrahiert. Globale Bewegungsmerkmale werden hingegen zur Repräsentation der globalen Bewegungen des Hand-Skeletts genutzt. Diese Bewegungsmerkmale zusammen mit der Skelett-Sequenz werden anschließend in drei Zweige eines rekurrenten neuronalen Netzes (RNN) eingespeist, die die Bewegungsmerkmale für das RNN erweitern und die Klassifizierungsleistung verbessern. Das vorgeschlagene MFA-Net wird auf zwei anspruchsvollen, auf Skelett-Daten basierenden Datensätzen zur dynamischen Handgestenerkennung evaluiert, nämlich dem DHG-14/28-Datensatz und dem SHREC’17-Datensatz. Experimentelle Ergebnisse zeigen, dass unsere Methode auf dem DHG-14/28-Datensatz vergleichbare Leistung erzielt und auf dem SHREC’17-Datensatz sogar eine bessere Leistung als bestehende State-of-the-Art-Methoden erreicht.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| skeleton-based-action-recognition-on-shrec | MFA-Net | 14 gestures accuracy: 91.3 28 gestures accuracy: 86.6 Speed (FPS): 361 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.