HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Motion feature augmented network for dynamic hand gesture recognition from skeletal data

{Hang Wang 1 Guijin Wang Cairong Zhang Xinghao Chen Hengkai Guo and Li Zhang}

Abstract

Die dynamische Gestenerkennung der Hand hat aufgrund ihrer Bedeutung für die Mensch-Computer-Interaktion zunehmend an Aufmerksamkeit gewonnen. In diesem Artikel stellen wir ein neuartiges Motion-Feature-erweitertes Netzwerk (MFA-Net) zur Erkennung dynamischer Handgesten aus Skelett-Daten vor. MFA-Net nutzt Bewegungsmerkmale der Finger sowie globale Bewegungen, um die Merkmale eines tiefen neuronalen Netzes für die Gestenerkennung zu erweitern. Um die Gelenkbewegungen der Finger präzise zu beschreiben, werden Finger-Bewegungsmerkmale aus der Sequenz des Hand-Skeletts mittels eines variationalen Autoencoders extrahiert. Globale Bewegungsmerkmale werden hingegen zur Repräsentation der globalen Bewegungen des Hand-Skeletts genutzt. Diese Bewegungsmerkmale zusammen mit der Skelett-Sequenz werden anschließend in drei Zweige eines rekurrenten neuronalen Netzes (RNN) eingespeist, die die Bewegungsmerkmale für das RNN erweitern und die Klassifizierungsleistung verbessern. Das vorgeschlagene MFA-Net wird auf zwei anspruchsvollen, auf Skelett-Daten basierenden Datensätzen zur dynamischen Handgestenerkennung evaluiert, nämlich dem DHG-14/28-Datensatz und dem SHREC’17-Datensatz. Experimentelle Ergebnisse zeigen, dass unsere Methode auf dem DHG-14/28-Datensatz vergleichbare Leistung erzielt und auf dem SHREC’17-Datensatz sogar eine bessere Leistung als bestehende State-of-the-Art-Methoden erreicht.

Benchmarks

BenchmarkMethodikMetriken
skeleton-based-action-recognition-on-shrecMFA-Net
14 gestures accuracy: 91.3
28 gestures accuracy: 86.6
Speed (FPS): 361

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Motion feature augmented network for dynamic hand gesture recognition from skeletal data | Forschungsarbeiten | HyperAI