Hierarchisch dekomponierte Graph-Convolutional Networks für die aktionsbasierte Anerkennung anhand von Skelettdaten

Graphenbasierte Faltungsnetze (GCNs) sind die am häufigsten verwendeten Methoden für die Aktionserkennung auf Basis von Skelettdaten und haben bemerkenswerte Leistungen erzielt. Die Generierung von Adjazenzmatrizen mit semantisch sinnvollen Kanten ist für diese Aufgabe besonders wichtig, stellt jedoch eine herausfordernde Aufgabe dar. Um dieses Problem zu lösen, schlagen wir eine hierarchisch dekomponierte graphenbasierte Faltungsnetzarchitektur (HD-GCN) mit einem neuartigen hierarchisch dekomponierten Graphen (HD-Graph) vor. Die vorgeschlagene HD-GCN dekomponiert jeden Gelenk-Knoten effektiv in mehrere Mengen, um hauptsächlich strukturell benachbarte und entfernte Kanten zu extrahieren, und nutzt diese, um einen HD-Graphen zu konstruieren, der diese Kanten im selben semantischen Raum eines menschlichen Skeletts enthält. Zudem führen wir ein auf Aufmerksamkeit gestütztes Hierarchie-Aggregationsmodul (A-HA) ein, das die dominierenden hierarchischen Kantenmengen des HD-Graphen hervorhebt. Darüber hinaus wenden wir eine neue Sechs-Wege-Ensemble-Methode an, die ausschließlich auf Gelenk- und Knochenströmen basiert und keinerlei Bewegungsströme erfordert. Das vorgeschlagene Modell wird anhand vier großer, bekannter Datensätze evaluiert und erreicht dabei Spitzenleistungen. Schließlich demonstrieren wir die Wirksamkeit unseres Modells durch verschiedene vergleichende Experimente.