2D/3D-Pose-Schätzung und Aktionserkennung mit Multitask-Deep-Learning

Aktionserkennung und menschliche Pose-Schätzung sind eng miteinander verbunden, werden aber in der Literatur in der Regel als getrennte Aufgaben behandelt. In dieser Arbeit schlagen wir ein Multitask-Framework vor, das sowohl die 2D- und 3D-Pose-Schätzung aus einzelnen Bildern als auch die Aktionserkennung aus Videosequenzen vereint. Wir zeigen, dass eine einzelne Architektur effizient beide Probleme lösen kann und dennoch Stand-des-Wissens-Ergebnisse erzielt. Darüber hinaus demonstrieren wir, dass eine End-zu-End-Optimierung zu erheblich höherer Genauigkeit führt als getrenntes Lernen. Die vorgeschlagene Architektur kann auf Daten aus verschiedenen Kategorien gleichzeitig und nahtlos trainiert werden. Die auf vier Datensätzen (MPII, Human3.6M, Penn Action und NTU) berichteten Ergebnisse belegen die Effektivität unserer Methode für die gezielten Aufgaben.