Eine Neue Darstellung von Skelettfolgen für die 3D-Aktenerkennung

Dieses Papier stellt eine neue Methode zur 3D-Aktionserkennung mit Skelettfolgen (d.h., 3D-Trajektorien der menschlichen Skelettgelenke) vor. Die vorgeschlagene Methode transformiert zunächst jede Skelettfolge in drei Clips, die jeweils aus mehreren Bildern bestehen, um räumlich-zeitliche Merkmale mithilfe tiefer neuronaler Netze zu lernen. Jeder Clip wird aus einem Kanal der zylindrischen Koordinaten der Skelettfolge generiert. Jedes Bild der generierten Clips repräsentiert die zeitliche Information der gesamten Skelettfolge und enthält eine bestimmte räumliche Beziehung zwischen den Gelenken. Die gesamten Clips enthalten mehrere Bilder mit verschiedenen räumlichen Beziehungen, die nützliche räumliche Strukturinformationen des menschlichen Skeletts liefern. Wir schlagen vor, tiefe Faltungsneuronale Netze (Convolutional Neural Networks, CNNs) zu verwenden, um langfristige zeitliche Informationen der Skelettfolge aus den Bildern der generierten Clips zu lernen, und dann ein Mehrfachaufgaben-Lernnetzwerk (Multi-Task Learning Network, MTLN) anzuwenden, um alle Bilder der generierten Clips parallel zu verarbeiten und dabei räumliche Strukturinformationen für die Aktionserkennung zu integrieren. Experimentelle Ergebnisse zeigen deutlich die Effektivität der vorgeschlagenen neuen Darstellung und Merkmalslernmethode für die 3D-Aktionserkennung.