Aktionserkennung auf der Grundlage von Gelenkbahnkarten mit Faltungsneuronalen Netzen

Faltungsschichtneuronale Netze (ConvNets) haben kürzlich in vielen Aufgaben der Computer Vision, insbesondere bei bildbasierten Erkennungsaufgaben, vielversprechende Leistungen gezeigt. Die effektive Anwendung von ConvNets auf sequenzbasierte Daten stellt jedoch weiterhin eine offene Frage dar. In dieser Arbeit wird eine effektive und einfache Methode vorgeschlagen, um die räumlich-zeitliche Information, die in 3D-Skelettfolgen enthalten ist, in drei 2D-Bilder zu kodieren. Dabei werden die Gelenkbahnen und ihre Dynamik in Farbverteilungen im Bild übertragen, was als Joint Trajectory Maps (JTM) bezeichnet wird. Die ConvNets werden verwendet, um diskriminierende Merkmale für die Erkennung menschlicher Aktionen zu lernen. Diese bildbasierte Darstellung ermöglicht es uns, existierende ConvNets-Modelle für die Klassifizierung von Skelettfolgen fein abzustimmen, ohne die Netzwerke neu zu trainieren. Die drei JTMs werden in drei orthogonalen Ebenen generiert und ergänzen sich gegenseitig mit Informationen. Die endgültige Erkennung wird durch die Multiplikation der Scores der drei JTMs weiter verbessert. Die vorgeschlagene Methode wurde anhand von vier öffentlichen Benchmark-Datensätzen evaluiert: dem großen NTU RGB+D Datensatz, dem MSRC-12 Kinect Gestur-Datensatz (MSRC-12), dem G3D Datensatz und dem UTD Multimodal Human Action Datensatz (UTD-MHAD). Dabei wurden Stand-der-Technik-Ergebnisse erzielt.