Command Palette
Search for a command to run...
DeGCN: Deformable Graph Convolutional Networks für die aktionsbasierte Anerkennung anhand von Skelettdaten
DeGCN: Deformable Graph Convolutional Networks für die aktionsbasierte Anerkennung anhand von Skelettdaten
Guijin Wang Jing-Hao Xue Nan Su Woomin Myung
Zusammenfassung
Graphenbasierte Faltungsnetzwerke (Graph Convolutional Networks, GCN) wurden kürzlich untersucht, um die Graphtopologie des menschlichen Körpers für die aktionsbasierte Erkennung anhand von Skelettsequenzen auszunutzen. Allerdings aggregieren die meisten dieser Methoden Nachrichten über ein starres Muster, das für verschiedene Aktionsbeispiele unverändert bleibt, wodurch das Bewusstsein für die intra-klassische Vielfalt und die Anpassungsfähigkeit an Skelettsequenzen fehlt – diese enthalten häufig überflüssige oder sogar schädliche Verbindungen. In diesem Artikel stellen wir ein neuartiges Deformierbares Graphenfaltungsnetzwerk (Deformable Graph Convolutional Network, DeGCN) vor, das adaptiv die informativsten Gelenke erfasst. Das vorgeschlagene DeGCN lernt deformierbare Abtastpositionen sowohl auf räumlichen als auch auf zeitlichen Graphen, wodurch das Modell diskriminative Empfangsfelder wahrnehmen kann. Insbesondere berücksichtigen wir, dass menschliche Aktionen inhärent kontinuierlich sind, weshalb die entsprechenden zeitlichen Merkmale in einem kontinuierlichen latenten Raum definiert werden. Darüber hinaus entwerfen wir einen innovativen Mehrzweig-Framework, der nicht nur ein besseres Gleichgewicht zwischen Genauigkeit und Modellgröße ermöglicht, sondern auch die Wirkung der Ensemble-Integration zwischen Gelenk- und Knochenmodalen signifikant steigert. Umfassende Experimente zeigen, dass unsere Methode auf drei weit verbreiteten Datensätzen – NTU RGB+D, NTU RGB+D 120 und NW-UCLA – state-of-the-art Ergebnisse erzielt.