UNIK: Ein einheitlicher Rahmen für die Aktionserkennung auf Basis von Skelettdaten in der realen Welt

Die Aktionserkennung basierend auf Skelett-Daten hat in letzter Zeit zunehmende Aufmerksamkeit und Fortschritte erfahren. Zustandsbestimmte Ansätze, die Graph-Convolutional Networks (GCNs) einsetzen, können effektiv Merkmale auf menschlichen Skeletten extrahieren, indem sie auf einer vorgegebenen menschlichen Topologie basieren. Trotz dieser Fortschritte zeigen GCN-basierte Methoden Schwierigkeiten bei der Generalisierung über Domänen hinweg, insbesondere bei unterschiedlichen menschlichen Topologiestrukturen. In diesem Kontext stellen wir UNIK vor, eine neuartige, auf Skeletten basierende Methode zur Aktionserkennung, die nicht nur effektiv räumlich-zeitliche Merkmale auf Skelettsequenzen lernen kann, sondern auch über Datensätze hinweg generalisieren kann. Dies wird erreicht, indem eine optimale Abhängigkeitsmatrix aus der Gleichverteilung unter Verwendung eines Multi-Head-Attention-Mechanismus gelernt wird. Anschließend untersuchen wir die Cross-Domain-Generalisierbarkeit der auf Skeletten basierenden Aktionserkennung in realen Videos, indem wir bestehende State-of-the-Art-Ansätze sowie die vorgeschlagene UNIK anhand eines neuen Posetics-Datensatzes neu bewerten. Dieser Datensatz wurde aus Kinetics-400-Videos durch Schätzung, Verbesserung und Filterung von Körperhaltungen erstellt. Wir analysieren, um wie viel sich die Leistung auf kleineren Benchmark-Datensätzen nach Vortrainierung auf Posetics für die Aktionsklassifikation verbessert. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene UNIK, nach Vortrainierung auf Posetics, gut generalisiert und bei Übertragung auf vier Ziel-Datensätze für die Aktionsklassifikation – Toyota Smarthome, Penn Action, NTU-RGB+D 60 und NTU-RGB+D 120 – die State-of-the-Art-Methoden übertrifft.