Aktionserkennung auf Basis von Skeletten mit einem Shift-Graph-Convolutional-Netzwerk

Die Aktionserkennung mit Skelett-Daten gewinnt in der Computer Vision zunehmend an Aufmerksamkeit. In jüngster Zeit haben Graph-Convolutional Networks (GCNs), die menschliche Skelette als spatiotemporale Graphen modellieren, beachtliche Leistungen erzielt. Allerdings weisen GCN-basierte Methoden eine recht hohe Rechenkomplexität auf, die typischerweise bei über 15 GFLOPs pro Aktionssample liegt; einige neuere Ansätze erreichen sogar etwa 100 GFLOPs. Ein weiterer Nachteil besteht darin, dass die Rezeptionsfelder sowohl des räumlichen als auch des zeitlichen Graphen wenig flexibel sind. Obwohl einige Arbeiten die Ausdruckskraft des räumlichen Graphen durch Einführung adaptiver inkrementeller Module verbessern konnten, bleibt ihre Leistung durch die strukturellen Einschränkungen herkömmlicher GCNs limitiert. In diesem Artikel stellen wir ein neuartiges Shift-Graph-Convolutional Network (Shift-GCN) vor, das beide Nachteile überwindet. Anstelle schwerfälliger, regulärer Graph-Convolutionen basiert unser Shift-GCN auf neuartigen Shift-Graph-Operationen und leichtgewichtigen Point-wise-Convolutionen, wobei die Shift-Graph-Operationen flexible Rezeptionsfelder sowohl für den räumlichen als auch für den zeitlichen Graphen ermöglichen. Auf drei Datensätzen zur Aktionserkennung basierend auf Skelett-Daten übertrifft das vorgeschlagene Shift-GCN die derzeitigen State-of-the-Art-Methoden deutlich – und zwar mit mehr als zehnmal geringerer Rechenkomplexität.