BeLFusion: Latente Diffusion für verhaltensgesteuerte Vorhersage menschlicher Bewegungen

Die stochastische Vorhersage menschlicher Bewegungen (HMP) wurde bisher in der Regel mit generativen adversären Netzen und variationsautoencodern angegangen. Die meisten früheren Arbeiten zielten darauf ab, Bewegungen mit hoher Vielfalt im Hinblick auf die Dispersion der Skelettgelenke vorherzusagen. Dies hat zu Methoden geführt, die schnelle und divergente Bewegungen vorhersagen, die oft unrealistisch und inkonsistent mit der vergangenen Bewegung sind. Solche Methoden ignorieren auch Kontexte, die eine Vorhersage vielfältiger, aber kleinteiliger Verhaltensweisen oder Aktionen mit subtilen Gelenkverschiebungen erfordern. Um diese Probleme anzugehen, präsentieren wir BeLFusion, ein Modell, das erstmals latente Diffusionsmodelle in HMP nutzt, um aus einem latenten Raum zu sampeln, in dem Verhalten von Pose und Bewegung getrennt wird. Als Ergebnis wird Vielfalt aus verhaltensorientierter Sicht gefördert. Dank der Fähigkeit unseres Verhaltensverbinders (behavior coupler), das gesampeltes Verhalten auf fortlaufende Bewegungen zu übertragen, zeigen BeLFusions Vorhersagen eine Vielzahl von Verhaltensweisen, die deutlich realistischer sind als der Stand der Technik. Um dies zu untermauern, führen wir zwei Metriken ein: den Bereich der kumulativen Bewegungsverteilung und den durchschnittlichen paarweisen Distanzfehler, die sich anhand einer qualitativen Studie mit 126 Teilnehmern unserer Definition von Realismus korrelieren. Schließlich beweisen wir BeLFusions Generalisierungsfähigkeit in einem neuen cross-dataset-Szenario für stochastische HMP.