Bewegungsmerkmale erweitertes rekurrentes Neuronales Netzwerk für die Erkennung dynamischer Handskeletongesten

Die Erkennung dynamischer Handgesten hat aufgrund ihrer Bedeutung für die Mensch-Computer-Interaktion zunehmendes Interesse geweckt. In dieser Arbeit schlagen wir ein neues Bewegungsmerkmals-verstärktes rekurrentes Neuronales Netzwerk für die Erkennung dynamischer Handgesten basierend auf Skelettdaten vor. Fingerbewegungsmerkmale werden extrahiert, um die Bewegungen der Finger zu beschreiben, und globale Bewegungsmerkmale werden verwendet, um die gesamte Bewegung des Hand-Skeletts darzustellen. Diese Bewegungsmerkmale werden dann zusammen mit der Skelettsequenz in ein bidirektionales rekurrentes Neuronales Netzwerk (RNN) eingespeist, was die Bewegungsmerkmale für das RNN verstärken und die Klassifikationsleistung verbessern kann. Experimente zeigen, dass unser vorgeschlagener Ansatz effektiv ist und den Stand der Technik übertreffen kann.