Aktionagnostische Vorhersage der menschlichen Körperhaltung

Die Vorhersage und Prognose menschlicher Dynamiken ist eine sehr interessante, aber auch herausfordernde Aufgabe mit zahlreichen potenziellen Anwendungen in der Robotik, Gesundheitsversorgung usw. In letzter Zeit wurden mehrere Methoden zur Vorhersage menschlicher Körperhaltungen entwickelt; jedoch führen diese oft zu einer Reihe von Einschränkungen in ihren Einstellungen. Zum Beispiel konzentrierten sich frühere Arbeiten entweder nur auf kurzfristige oder langfristige Vorhersagen, wobei sie die eine oder die andere vernachlässigten. Darüber hinaus wurden Aktivitätsbezeichnungen als Teil des Trainingsprozesses einbezogen und sind für die Testphase erforderlich. Diese Einschränkungen begrenzen die Verwendung von Modellen zur Vorhersage menschlicher Körperhaltungen für reale Anwendungen, da es in Testszenarien häufig keine annotierten Aktivitätsdaten gibt. In dieser Arbeit schlagen wir eine neue aktionsagnostische Methode zur kurz- und langfristigen Vorhersage menschlicher Körperhaltungen vor. Dazu entwickeln wir ein neues rekurrentes Neuronales Netzwerk zur Modellierung der hierarchischen und multiskaligen Eigenschaften der menschlichen Dynamik, bezeichnet als dreieckiges Prismarecurrentes Neuronales Netzwerk (TP-RNN). Unser Modell erfasst die latente hierarchische Struktur, die in zeitlichen Sequenzen menschlicher Körperhaltungen eingebettet ist, indem es zeitliche Abhängigkeiten mit verschiedenen Zeitskalen kodiert. Zur Bewertung führen wir umfangreiche Experimente auf den Datensätzen Human 3.6M und Penn Action durch und zeigen, dass unsere Methode sowohl quantitativ als auch qualitativ Baseline-Methoden und den aktuellen Stand der Technik übertrifft. Der Quellcode ist unter https://github.com/eddyhkchiu/pose_forecast_wacv/ verfügbar.