CNN+RNN-basierte Erkennung dynamischer Handgesten auf der Grundlage von Tiefe und Skelett

Die Erkennung menschlicher Aktivitäten und Gesten ist eine zentrale Komponente des rasch wachsenden Forschungsfeldes der ambientsen Intelligenz, insbesondere im Kontext der Unterstützung von Lebensräumen und intelligenten Häusern. In diesem Beitrag schlagen wir vor, die Stärken zweier tiefer Lernverfahren – konvolutioneller neuronaler Netze (CNN) und rekurrenter neuronaler Netze (RNN) – zu kombinieren, um automatisiert Handgesten unter Verwendung sowohl von Tiefen- als auch von Skelett-Daten zu erkennen. Beide Datentypen können unabhängig voneinander zur Ausbildung neuronaler Netze herangezogen werden, um Handgesten zu klassifizieren. Während bereits berichtet wurde, dass RNN bei der Erkennung von Bewegungssequenzen einzelner Skelettgelenke auf Basis reiner Skelettinformationen gute Leistungen erbringen, zielt diese Studie darauf ab, Tiefendaten zu nutzen und CNNs einzusetzen, um relevante räumliche Informationen aus den Tiefenbildern zu extrahieren. Durch die Kombination beider Ansätze, das Tandem aus CNN und RNN, lässt sich eine Sequenz von Gesten präziser erkennen. Darüber hinaus werden verschiedene Fusionsstrategien untersucht, um sowohl Skelett- als auch Tiefendaten zu kombinieren und somit zeitlich-raumliche Muster zu erfassen. Auf dem dynamischen Handgesten-Datensatz „Dynamic Hand Gesture-14/28“ wird eine Gesamtgenauigkeit von 85,46 % erreicht.