TSGCNeXt: Dynamisch-Statische Multi-Graph-Convolution für eine effiziente, gelenkbasierter Aktionserkennung mit langfristigem Lernpotenzial

Die aktionsbasierte Anerkennung auf der Grundlage von Skelettdaten hat mit der Entwicklung von Graph-Convolutional Networks (GCNs) beachtliche Fortschritte bei der Erkennung menschlicher Aktionen erzielt. Allerdings neigen jüngere Ansätze dazu, komplexe Lernmechanismen mit redundanter Trainingsdauer zu konstruieren, was langfristig zu einem Engpass bei zeitlich langen Sequenzen führt. Um diese Probleme zu lösen, schlagen wir den Temporal-Spatio Graph ConvNeXt (TSGCNeXt) vor, um einen effizienten Lernmechanismus für lange zeitliche Skelettsequenzen zu erforschen. Zunächst wird ein neuartiger Graph-Lernmechanismus mit einfacher Struktur, der Dynamic-Static Separate Multi-graph Convolution (DS-SMG), vorgestellt, um Merkmale mehrerer unabhängiger topologischer Graphen zu aggregieren und zu vermeiden, dass Knoteninformationen während der dynamischen Faltung vernachlässigt werden. Anschließend wird ein Graph-Convolution-Trainingsbeschleunigungsmechanismus entwickelt, der die Rückpropagation-Berechnung beim dynamischen Graph-Lernen um 55,08 % beschleunigt. Schließlich wird die Gesamtstruktur der GCN durch die Einführung von drei Spatio-temporalen Lernmodulen neu gestaltet, um langfristige zeitliche Merkmale effizient zu modellieren. Im Vergleich zu bestehenden Methoden auf großen Datensätzen wie NTU RGB+D 60 und 120 übertrifft TSGCNeXt die Leistung bei Einzelstrom-Netzwerken. Zudem erreicht TSGCNeXt mit der Einbeziehung eines EMA-Modells in die Mehrstrom-Fusion SOTA-Ergebnisse. Auf den Cross-Subject- und Cross-Set-Aufgaben des NTU 120 werden Genauigkeiten von 90,22 % und 91,74 % erzielt.