Zwei-Ströme adaptive Graph-Konvolutionalnetzwerke für die Aktionserkennung basierend auf Skelettdaten

Im Bereich der auf Skelettdaten basierenden Aktenerkennung haben Graphenkonvolutionsnetze (GCNs), die menschliche Körperstrukturen als räumlich-zeitliche Graphen modellieren, bemerkenswerte Leistungen erzielt. Allerdings werden in den bestehenden GCN-basierten Methoden die Topologien der Graphen manuell festgelegt und sind über alle Schichten und Eingabestichproben hinweg fixiert. Dies ist möglicherweise nicht optimal für hierarchische GCNs und vielfältige Stichproben in Aktenerkennungsaufgaben. Zudem wird die zweitstufige Information (die Längen und Richtungen der Knochen) der Skelettdaten, die natürlich informativer und diskriminativer für die Aktenerkennung ist, in den existierenden Methoden selten untersucht.In dieser Arbeit schlagen wir ein neuartiges zweistrom-adaptives Graphenkonvolutionsnetz (2s-AGCN) für die auf Skelettdaten basierende Aktenerkennung vor. Die Topologie des Graphen in unserem Modell kann entweder uniform oder individuell durch den Backpropagation-Algorithmus (BP-Algorithmus) in einem end-to-end-Prozess gelernt werden. Diese datengesteuerte Methode erhöht die Flexibilität des Modells bei der Graphenkonstruktion und bringt mehr Allgemeingültigkeit zur Anpassung an verschiedene Datenstichproben. Darüber hinaus wird ein zweistufiges Framework vorgeschlagen, um sowohl die erststufige als auch die zweitstufige Information gleichzeitig zu modellieren, was eine bemerkenswerte Verbesserung der Erkennungspräzision zeigt.Ausführliche Experimente mit den beiden großen Datensätzen NTU-RGBD und Kinetics-Skeleton verdeutlichen, dass die Leistung unseres Modells den aktuellen Stand der Technik (state-of-the-art) deutlich übertreffen kann.