Kontinuierliche räumlich-zeitliche Graph-Convolutional Netzwerke

Die graphbasierte Schlussfolgerung auf Basis von Skelett-Daten hat sich als vielversprechender Ansatz für die Erkennung menschlicher Aktionen etabliert. Die Anwendung bisheriger graphbasierter Methoden, die überwiegend ganze zeitliche Sequenzen als Eingabe verwenden, im Kontext der Online-Inferenz führt jedoch zu erheblichem rechnerischem Overhead. In diesem Artikel adressieren wir dieses Problem, indem wir das Spatio-Temporal Graph Convolutional Neural Network (ST-GCN) neu formulieren als ein kontinuierliches Inferenznetzwerk, das schrittweise Vorhersagen im Zeitverlauf ermöglicht, ohne einzelne Frames mehrfach zu verarbeiten. Zur Evaluierung unseres Ansatzes entwickeln wir eine kontinuierliche Variante von ST-GCN, namens CoST-GCN, sowie zwei abgeleitete Methoden mit unterschiedlichen Selbst-Attention-Mechanismen, CoAGCN und CoS-TR. Wir untersuchen Strategien für Gewichtstransfer und architektonische Modifikationen zur Beschleunigung der Inferenz und führen Experimente auf den Datensätzen NTU RGB+D 60, NTU RGB+D 120 sowie Kinetics Skeleton 400 durch. Bei vergleichbarer Vorhersagegenauigkeit erreichen wir eine Reduktion der zeitlichen Komplexität um bis zu 109-fach, eine Beschleunigung auf Hardware um bis zu 26-fach und eine Verringerung des maximalen Speicherverbrauchs um 52 % während der Online-Inferenz.