Spatiozeitliche Graphenrouting für aktionsbasierte Erkennung auf der Grundlage von Skeletten

Aufgrund ihrer hohen Repräsentationswirksamkeit hat die menschliche Aktenerkennung basierend auf Skelettdaten erhebliche Forschungsinteressen geweckt und findet eine Vielzahl realer Anwendungen. In diesem Bereich beruhen viele etablierte Methoden typischerweise auf einer festen, physikalischen Verbindungsskelettruktur zur Erkennung, die nicht in der Lage ist, die inhärenten hochordnungsmäßigen Korrelationen zwischen den Skelettgelenken effektiv zu erfassen. In diesem Artikel stellen wir ein neuartiges spatio-temporales Graph-Routing (STGR)-Verfahren für die Aktenerkennung basierend auf Skelettdaten vor, das adaptiv die inhärenten hochordnungsmäßigen Verbindungsbeziehungen zwischen physisch voneinander entfernten Gelenken lernt. Konkret besteht das Verfahren aus zwei Komponenten: einem räumlichen Graphen-Router (SGR) und einem zeitlichen Graphen-Router (TGR). Der SGR zielt darauf ab, die Verbindungsbeziehungen zwischen den Gelenken durch Untergruppen-Clustering entlang der räumlichen Dimension zu entdecken, während der TGR strukturelle Informationen durch Messung der Korrelationsgrade zwischen zeitlichen Trajektorien einzelner Gelenk-Knoten erfasst. Das vorgeschlagene Verfahren lässt sich nahtlos und natürlich in die Architektur von Graphen-Convolutional Networks (GCNs) integrieren, um eine Reihe von Gelenkverbindungs-Graphen zu generieren, die anschließend in Klassifizierungsnetzwerke eingespeist werden. Darüber hinaus wird eine tiefgründige Analyse des Rezeptivfelds eines Graphenknotens vorgenommen, um die Notwendigkeit unseres Ansatzes zu erklären. Experimentelle Ergebnisse auf zwei etablierten Benchmark-Datensätzen (NTU-RGB+D und Kinetics) belegen die Überlegenheit gegenüber aktuellen State-of-the-Art-Methoden.