Temporale Entkoppelungsgraphenfaltung für die Gestenerkennung basierend auf Skelettinformationen

Methoden zur Gestenerkennung auf Basis von Skelettdaten haben mit Graphen-Convolutional Networks (GCN) erheblichen Erfolg erzielt, wobei üblicherweise eine Adjazenzmatrix zur Modellierung der räumlichen Topologie von Skeletten verwendet wird. Allerdings verwenden bisherige Ansätze dieselbe Adjazenzmatrix für Skelette aus unterschiedlichen Frames, was die Flexibilität der GCN zur Modellierung zeitlicher Informationen einschränkt. Um dieses Problem zu lösen, schlagen wir ein Temporäres Entkoppelungsgewichtetes Graphen-Convolutional Network (TD-GCN) vor, das für Skelette aus verschiedenen Frames unterschiedliche Adjazenzmatrizen anwendet. Die zentralen Schritte jeder Konvolutionsschicht im vorgeschlagenen TD-GCN sind wie folgt: Um tiefgehende räumlich-zeitliche Informationen aus den Gelenken des Skeletts zu extrahieren, ziehen wir zunächst hochwertige räumlich-zeitliche Merkmale aus den Skelettdaten. Anschließend berechnen wir kanalabhängige und zeitabhängige Adjazenzmatrizen, die jeweils unterschiedlichen Kanälen und Frames entsprechen, um die räumlich-zeitlichen Abhängigkeiten zwischen den Skelettgelenken zu erfassen. Schließlich werden die räumlich-zeitlichen Merkmale der Skelettgelenke basierend auf den kanal- und zeitabhängigen Adjazenzmatrizen gefaltet, um Topologieinformationen aus benachbarten Gelenken zu integrieren. Soweit uns bekannt ist, sind wir die Ersten, die zeitabhängige Adjazenzmatrizen zur zeitempfindlichen Topologie-Lernung aus Skelettgelenken einsetzen. Das vorgeschlagene TD-GCN verbessert effektiv die Modellierungsfähigkeit der GCN und erzielt state-of-the-art Ergebnisse auf mehreren Gesten-Datensätzen, darunter SHREC'17 Track sowie DHG-14/28. Der Quellcode ist unter folgender URL verfügbar: https://github.com/liujf69/TD-GCN-Gesture.