Temporale Erweiterungsmodul für aktionsbasierte Anerkennung auf der Grundlage von Skeletten

Wir präsentieren ein Modul, das den zeitlichen Graphen eines Graphen-Convolutional Networks (GCN) zur Aktenerkennung erweitert, indem eine Folge von Skeletten verarbeitet wird. Bestehende Methoden versuchen, einen angemesseneren räumlichen Graphen innerhalb eines einzelnen Frames zu definieren, ignorieren jedoch die Optimierung des zeitlichen Graphen zwischen verschiedenen Frames. Konkret verbinden diese Methoden nur Knoten, die denselben Gelenktyp auf unterschiedlichen Frames repräsentieren. In dieser Arbeit fokussieren wir uns darauf, zusätzliche Verbindungen zwischen benachbarten Knoten über mehrere Frames hinweg hinzuzufügen und basierend auf dem erweiterten zeitlichen Graphen zusätzliche Merkmale zu extrahieren. Unser Modul ist eine einfache, jedoch wirksame Methode zur Extraktion korrelierter Merkmale mehrerer Gelenke während menschlicher Bewegungen. Darüber hinaus trägt unser Modul zur weiteren Leistungssteigerung bei, insbesondere in Kombination mit anderen GCN-Methoden, die lediglich den räumlichen Graphen optimieren. Wir führen umfangreiche Experimente auf zwei großen Datensätzen, NTU RGB+D und Kinetics-Skeleton, durch und zeigen, dass unser Modul für mehrere etablierte Modelle wirksam ist und unser Endmodell eine state-of-the-art-Leistung erreicht.