Spatio-Temporale Graphenkonvolution für die Aktionserkennung auf Skelettbasis

Variationen menschlicher Skelette können als dynamische Graphen betrachtet werden, die eine generische Datenrepräsentation für zahlreiche Anwendungen in der realen Welt darstellen. In dieser Arbeit schlagen wir einen räumlich-zeitlichen Graphenkonvolutionansatz (STGC) vor, um die Erfolge lokaler Faltungsfilters und die Sequenzlernfähigkeiten des autoregressiven gleitenden Durchschnitts zu kombinieren. Um dynamische Graphen zu kodieren, werden rekursiv auf strukturierten Graphendaten im zeitlichen und räumlichen Bereich mehrstufige lokale Graphenkonvolutionfilter durchgeführt, die aus Matrizen lokaler Rezeptivfelder und Signalabbildungen bestehen. Das vorgeschlagene Modell ist generisch und fundiert, da es in andere dynamische Modelle verallgemeinert werden kann. Wir beweisen theoretisch die Stabilität von STGC und geben eine obere Schranke für die zu lernende Signalaufbereitung an. Des Weiteren kann das vorgeschlagene rekursive Modell in eine mehrschichtige Architektur gestapelt werden. Um unser Modell zu evaluieren, führen wir umfangreiche Experimente auf vier Benchmark-Datensätzen für skelettbasierte Aktionserkennung durch, einschließlich dem groß angelegten und anspruchsvollen NTU RGB+D. Die experimentellen Ergebnisse zeigen die Effektivität unseres vorgeschlagenen Modells sowie den Fortschritt gegenüber dem aktuellen Stand der Technik.