Verbesserte räumlich-zeitliche Bildcodierung für die Online-Aktivitätserkennung von Menschen

Die Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR) basierend auf Sensordaten kann als ein Problem der Zeitreihenklassifikation betrachtet werden, bei dem die Herausforderung darin besteht, sowohl räumliche als auch zeitliche Abhängigkeiten zu berücksichtigen, während gleichzeitig die relevantesten Datenvariationen im Fokus stehen. Dies lässt sich mithilfe von 3D-Skelett-Daten erreichen, die aus einer RGB+D-Kamera extrahiert werden. In dieser Arbeit schlagen wir vor, die spatio-temporale Bildcodierung von 3D-Skeletten, die von einem Kinect-Sensor erfasst wurden, zu verbessern, indem wir den Begriff der Bewegungsenergie untersuchen, der sich vor allem auf die Skelettgelenke konzentriert, die bei einer Aktivität am stärksten beansprucht werden. Diese Codierung ermöglicht eine verbesserte Unterscheidung bei der Erkennung von Aktivitäten in Echtzeit, indem sie sich auf die bedeutendsten Teile der Bewegungen konzentriert. Der Artikel präsentiert diese neue Codierung sowie ihre Anwendung für HAR mittels eines tiefen Lernmodells, das auf den codierten 3D-Skelett-Daten trainiert wurde. Dazu untersuchen wir die Übertragbarkeit mehrerer vortrainierter CNNs, die von Keras bereitgestellt werden. Die Ergebnisse zeigen eine signifikante Steigerung der Klassifizierungsgenauigkeit im Vergleich zum aktuellen Stand der Technik.