Gemeinsame Skeletale und Semantische Einbettungsverlust für die Klassifizierung von Mikro-Gesten

In dieser Arbeit stellen wir die Lösung unseres Teams HFUT-VUT für die Mikro-Gesten-Klassifizierung im Rahmen der MiGA-Herausforderung bei IJCAI 2023 kurz vor. Die Aufgabe der Mikro-Gesten-Klassifizierung besteht darin, die Aktionenkategorie eines gegebenen Videos anhand von Skelettdaten zu erkennen. Für diese Aufgabe schlagen wir ein auf 3D-CNNs basierendes Netzwerk zur Erkennung von Mikro-Gesten vor, das einen Verlust für skelettbasierte und semantische Einbettungen (skeletal and semantic embedding loss) integriert, um die Leistungsfähigkeit der Aktionserkennung zu verbessern. Schließlich belegten wir den ersten Platz in der Mikro-Gesten-Klassifizierungs-Herausforderung und übertrafen das zweitplatzierte Team um 1,10 % in Bezug auf die Top-1-Genauigkeit.