Lernpfadabhängigkeiten für die Vorhersage menschlicher Bewegungen

Die Vorhersage menschlicher Bewegungen, d.h. die Prognose zukünftiger Körperhaltungen anhand einer beobachteten Haltungssequenz, wurde traditionell mit rekurrenten neuronalen Netzen (RNNs) angegangen. Allerdings zeigen frühere Arbeiten, dass die resultierenden RNN-Modelle von der Akkumulation von Vorhersagefehlern betroffen sind, was zu unerwünschten Diskontinuitäten in der Bewegungsvorhersage führt. In diesem Artikel schlagen wir ein einfaches feedforward tiefes Netzwerk für die Bewegungsvorhersage vor, das sowohl zeitliche Glättung als auch räumliche Abhängigkeiten zwischen den Gelenken des menschlichen Körpers berücksichtigt. In diesem Zusammenhang schlagen wir vor, temporale Informationen durch Arbeit im Trajektorienraum zu kodieren, anstatt im traditionell verwendeten Pose-Raum. Dies enthebt uns der manuellen Definition des Bereichs zeitlicher Abhängigkeiten (oder der Größe zeitlicher Faltungsfiltre, wie es in früheren Arbeiten getan wurde). Darüber hinaus wird die räumliche Abhängigkeit der menschlichen Haltung durch Betrachtung einer Haltung als generischen Graphen kodiert, der durch Verbindungen zwischen jedem Paar von Körpergelenken gebildet wird. Anstelle eines vorgegebenen Graphenstrukturen entwerfen wir ein neues graphkonvolutionales Netzwerk zur automatischen Lernung der Graphenkonnektivität. Dies ermöglicht es dem Netzwerk, langfristige Abhängigkeiten über jene des menschlichen Kinematikbaums hinaus zu erfassen. Wir evaluieren unseren Ansatz auf mehreren Standard-Benchmark-Datensätzen für Bewegungsvorhersagen, darunter Human3.6M, dem CMU Motion Capture Datensatz und 3DPW. Unsere Experimente zeigen deutlich, dass der vorgeschlagene Ansatz den Stand der Technik erreicht und sowohl für winkelbasierte als auch für positionsbasierte Haltungsrepräsentationen anwendbar ist. Der Code ist unter https://github.com/wei-mao-2019/LearnTrajDep verfügbar.