Vertex-Feature-Encodierung und hierarchische zeitliche Modellierung in einem räumlich-zeitlichen Graph-Convolutional Network zur Aktenerkennung

Diese Arbeit erweitert das Spatial-Temporal Graph Convolutional Network (ST-GCN) für die aktionsbasierte Erkennung anhand von Skelett-Daten durch die Einführung zweier neuer Module: des Graph Vertex Feature Encoders (GVFE) und des Dilated Hierarchical Temporal Convolutional Network (DH-TCN). Einerseits lernt das GVFE-Modul geeignete Knotenmerkmale für die Aktionserkennung, indem es die rohen Skelett-Daten in einen neuen Merkmalsraum kodiert. Andererseits ist das DH-TCN-Modul in der Lage, sowohl kurzfristige als auch langfristige zeitliche Abhängigkeiten mithilfe eines hierarchischen dilatierten Faltungsnetzwerks zu erfassen. Experimente wurden auf den anspruchsvollen Datensätzen NTU RGB-D-60 und NTU RGB-D 120 durchgeführt. Die Ergebnisse zeigen, dass unsere Methode mit bestehenden State-of-the-Art-Ansätzen konkurrieren kann, während gleichzeitig eine geringere Anzahl an Schichten und Parametern verwendet wird – was die benötigte Trainingszeit und den Speicherverbrauch reduziert.