Motion feature augmented network for dynamic hand gesture recognition from skeletal data

Die dynamische Gestenerkennung der Hand hat aufgrund ihrer Bedeutung für die Mensch-Computer-Interaktion zunehmend an Aufmerksamkeit gewonnen. In diesem Artikel stellen wir ein neuartiges Motion-Feature-erweitertes Netzwerk (MFA-Net) zur Erkennung dynamischer Handgesten aus Skelett-Daten vor. MFA-Net nutzt Bewegungsmerkmale der Finger sowie globale Bewegungen, um die Merkmale eines tiefen neuronalen Netzes für die Gestenerkennung zu erweitern. Um die Gelenkbewegungen der Finger präzise zu beschreiben, werden Finger-Bewegungsmerkmale aus der Sequenz des Hand-Skeletts mittels eines variationalen Autoencoders extrahiert. Globale Bewegungsmerkmale werden hingegen zur Repräsentation der globalen Bewegungen des Hand-Skeletts genutzt. Diese Bewegungsmerkmale zusammen mit der Skelett-Sequenz werden anschließend in drei Zweige eines rekurrenten neuronalen Netzes (RNN) eingespeist, die die Bewegungsmerkmale für das RNN erweitern und die Klassifizierungsleistung verbessern. Das vorgeschlagene MFA-Net wird auf zwei anspruchsvollen, auf Skelett-Daten basierenden Datensätzen zur dynamischen Handgestenerkennung evaluiert, nämlich dem DHG-14/28-Datensatz und dem SHREC’17-Datensatz. Experimentelle Ergebnisse zeigen, dass unsere Methode auf dem DHG-14/28-Datensatz vergleichbare Leistung erzielt und auf dem SHREC’17-Datensatz sogar eine bessere Leistung als bestehende State-of-the-Art-Methoden erreicht.