Command Palette
Search for a command to run...
Gestützte generative Bewegungsmodellierung mit Skelett
Gestützte generative Bewegungsmodellierung mit Skelett
Yan Yichao Xu Jingwei Ni Bingbing Yang Xiaokang
Zusammenfassung
Diese Arbeit unternimmt den ersten Versuch, eine bewegte menschliche Bewegungssequenz aus einem einzigen Bild zu generieren. Einerseits nutzen wir gepaarte Eingaben, bestehend aus menschlicher Skelettinformation als Bewegungs-Embedding und einem einzelnen menschlichen Bild als Erscheinungsbild-Referenz, um neue Bewegungsframes basierend auf einer bedingten GAN-Architektur zu erzeugen. Andererseits wird eine Triplet-Verlustfunktion eingesetzt, um eine glatte Erscheinungsbild-Übergangsqualität zwischen aufeinanderfolgenden Frames zu erreichen. Da der vorgeschlagene Rahmen gemeinsam den Bilderscheinungsbildraum und den Raum bewegter/kinematischer Bewegungen ausnutzen kann, generiert er realistische, bewegte Bewegungssequenzen – im Gegensatz zu den meisten vorherigen Methoden zur Videogenerierung, die zu verschwommenen Bewegungseffekten führen. Wir testen unser Modell an zwei Datensätzen menschlicher Aktivitäten, nämlich KTH und Human3.6M, und das vorgeschlagene Verfahren erzielt auf beiden Datensätzen äußerst vielversprechende Ergebnisse.