Effiziente PointLSTM für die Gestenerkennung basierend auf Punktwolken

Punktwolken enthalten reiche räumliche Informationen, die ergänzende Hinweise für die Gestenerkennung liefern. In diesem Paper formulieren wir die Gestenerkennung als Problem der Erkennung irregulärer Sequenzen und zielen darauf ab, langfristige räumliche Korrelationen über Punktwolkensequenzen hinweg zu erfassen. Wir schlagen einen neuartigen und effektiven PointLSTM vor, der Informationen von der Vergangenheit in die Zukunft propagiert, während die räumliche Struktur erhalten bleibt. Der vorgeschlagene PointLSTM kombiniert Zustandsinformationen benachbarter Punkte aus der Vergangenheit mit aktuellen Merkmalen, um die aktuellen Zustände mittels einer gewichtsgeteilten LSTM-Schicht zu aktualisieren. Diese Methode lässt sich nahtlos in zahlreiche andere Ansätze für Sequenzlernprobleme integrieren. Bei der Aufgabe der Gestenerkennung erreicht der vorgeschlagene PointLSTM state-of-the-art Ergebnisse auf zwei anspruchsvollen Datensätzen (NVGesture und SHREC'17) und übertrifft dabei frühere auf Skelett-basierten Methoden. Um die Vorteile der Verallgemeinerung zu demonstrieren, evaluieren wir unsere Methode auch auf dem MSR Action3D-Datensatz und erzielen Ergebnisse, die mit jenen früherer skelettbasierter Methoden konkurrieren.