Actional-Strukturelle Graphikale Faltungsnetze für die Aktionserkennung auf Skelettebasis

Die Erkennung von Aktionen mit Skelettdaten hat kürzlich viel Aufmerksamkeit in der Computer Vision gefunden. Frühere Studien basieren größtenteils auf festgelegten Skelettgraphen, die nur lokale physikalische Abhängigkeiten zwischen den Gelenken erfassen, was implizite Gelenkkorrelationen verpassen könnte. Um reichere Abhängigkeiten zu erfassen, führen wir eine Encoder-Decoder-Struktur ein, das sogenannte A-Link Inferenzmodul, um aktionspezifische latente Abhängigkeiten, d.h. aktionale Links, direkt aus den Aktionen zu extrahieren. Wir erweitern zudem die bestehenden Skelettgraphen, um höhere Ordnungsabhängigkeiten, d.h. strukturelle Links, darzustellen. Durch die Kombination dieser beiden Arten von Links in einem verallgemeinerten Skelettgraphen schlagen wir das aktionale-strukturelle Graphkonvolutionnetzwerk (AS-GCN) vor. Dieses Netzwerk stapelt aktionale-strukturelle Graphkonvolution und zeitliche Konvolution als grundlegendes Bauelement, um sowohl räumliche als auch zeitliche Merkmale für die Aktionserkennung zu lernen. Ein Modul zur Vorhersage zukünftiger Pose wird parallel zum Erkennungsmodul hinzugefügt, um durch Selbstüberwachung detailliertere Aktionsmuster zu erfassen. Wir validieren das AS-GCN in der Aktionserkennung anhand zweier Skelettdatensätze: NTU-RGB+D und Kinetics. Das vorgeschlagene AS-GCN zeigt im Vergleich zu den bislang besten Methoden konstante und erhebliche Verbesserungen. Als Nebenergebnis zeigt das AS-GCN auch vielversprechende Ergebnisse bei der Vorhersage zukünftiger Pose.