Skelettbasierte Aktionserkennung mit Faltungsneuronalen Netzen

Der aktuelle Stand der Technik bei der Skelettbasierten Aktionserkennung basiert hauptsächlich auf rekurrenten neuronalen Netzen (RNN). In dieser Arbeit schlagen wir einen neuen Ansatz vor, der auf konvolutionellen neuronalen Netzen (CNN) basiert und sowohl für die Aktionsklassifizierung als auch für die Erkennung geeignet ist. Rohes Skelett-Koordinatenmaterial sowie Skelettbewegungen werden direkt in das CNN eingespeist, um Klassifikationslabels vorherzusagen. Ein neuartiges Skelett-Transformer-Modul wurde entwickelt, um wichtige Skelettgelenke automatisch zu sortieren und auszuwählen. Mit einem einfachen 7-Schichten-Netzwerk erreichen wir eine Genauigkeit von 89,3 % im Validierungsdatensatz des NTU RGB+D-Datensatzes. Für die Aktionsdetektion in ungeschnittenen Videos haben wir ein Fenster-Vorschlagsnetzwerk entwickelt, das zeitliche Segmentvorschläge extrahiert, welche dann innerhalb desselben Netzwerks weiter klassifiziert werden. Auf dem aktuellen PKU-MMD-Datensatz erreichen wir ein mAP von 93,7 %, was den Baseline-Wert erheblich übertrifft.