HP-GAN: Wahrscheinlichkeitbasierte 3D-Bewegungsvorhersage von Menschen mittels GAN

Die Vorhersage und das Verständnis von menschlichen Bewegungsdynamiken haben viele Anwendungen, wie beispielsweise Bewegungssynthese, erweiterte Realität, Sicherheit und autonome Fahrzeuge. Aufgrund des jüngsten Erfolgs von generativen adversären Netzen (GAN) gibt es großes Interesse an der probabilistischen Schätzung und der Generierung synthetischer Daten mithilfe tiefer neuronaler Netzarchitekturen und Lernalgorithmen.Wir schlagen ein neues sequenzbasiertes Modell zur probabilistischen Vorhersage menschlicher Bewegungen vor, das mit einer modifizierten Version der verbesserten Wasserstein-generativen adversären Netze (WGAN-GP) trainiert wird. Dabei verwenden wir eine speziell für die Vorhersage menschlicher Bewegungen entwickelte Verlustfunktion. Unser Modell, das wir HP-GAN nennen, lernt eine Wahrscheinlichkeitsdichtefunktion zukünftiger menschlicher Posen unter Berücksichtigung früherer Posen. Es prognostiziert mehrere Sequenzen möglicher zukünftiger menschlicher Posen, wobei jede Sequenz dasselbe Eingabe-Sequenz verwendet, aber einen anderen Vektor (z) aus einer Zufallsverteilung zieht. Darüber hinaus, um die Qualität der nichtdeterministischen Vorhersagen zu quantifizieren, trainieren wir gleichzeitig ein Modell zur Bewertung der Bewegungsqualität, das die Wahrscheinlichkeit lernt, dass eine gegebene Skelettfolge eine echte menschliche Bewegung ist.Wir testen unseren Algorithmus auf zwei der größten Skelettdatenbanken: NTURGB-D und Human3.6M. Wir trainieren unser Modell sowohl auf einzelne als auch auf mehrere Aktionsarten. Die Vorhersageleistung bei langfristiger Bewegungsschätzung wird durch die Generierung mehrerer plausibler Zukunftsszenarien von über 30 Frames aus nur 10 Eingabeframes demonstriert. Wir zeigen, dass die meisten aus derselben Eingabe generierten Sequenzen mehr als 50 % Wahrscheinlichkeit haben, als echte menschliche Sequenz bewertet zu werden. Wir werden den gesamten Code dieses Papers auf Github veröffentlichen.