Aktion konditionierte bewegungsbasierte Generierung nach Bedarf

Wir schlagen einen neuen Rahmen, On-Demand Motion Generation (ODMO), vor, der realistische und vielfältige langfristige 3D-Bewegungssequenzen unter Berücksichtigung von Aktionsarten und mit zusätzlichen Anpassungsfähigkeiten erzeugt. ODMO zeigt Verbesserungen gegenüber den besten bisher bekannten Ansätzen (SOTA) bei allen traditionellen Bewegungsevaluationsmetriken, wenn es auf drei öffentlichen Datensätzen (HumanAct12, UESTC und MoCap) evaluiert wird. Darüber hinaus liefern wir sowohl qualitative als auch quantitative Bewertungen, die mehrere neuartige Anpassungsfähigkeiten unseres Rahmens demonstrieren, darunter Modenerkennung, Interpolation und Trajektorienanpassung. Diese Fähigkeiten erweitern das Spektrum potentieller Anwendungen solcher Bewegungsgenerierungsmodelle erheblich.Die neuen on-demand-generativen Fähigkeiten werden durch Innovationen sowohl in den Architekturen des Encoders als auch des Decoders ermöglicht:(i) Encoder: Verwendung des kontrastiven Lernens im niedrigdimensionalen latente Raum zur Erstellung einer hierarchischen Einbettung von Bewegungssequenzen. Dabei bilden nicht nur die Codes verschiedener Aktionsarten unterschiedliche Gruppen, sondern innerhalb einer Aktionsart gruppieren sich Codes ähnlicher inhärenter Muster (Bewegungsstile) zusammen, sodass sie leicht entdeckbar sind;(ii) Decoder: Einsatz einer hierarchischen Decodierstrategie, bei der zuerst die Bewegungstrajectorie rekonstruiert wird und dann zum Rekonstruieren der gesamten Bewegungssequenz verwendet wird. Solche Architektur ermöglicht eine effektive Trajektoriensteuerung.Unser Code ist auf der Github-Seite veröffentlicht: https://github.com/roychowdhuryresearch/ODMO