HyperAIHyperAI

Command Palette

Search for a command to run...

Human Motion Diffusion als generativer Prior

Yonatan Shafir Guy Tevet Roy Kapon Amit H. Bermano

Zusammenfassung

Kürzlich wurde die erhebliche Potenzial von Denoising-Diffusionsmodellen für die Generierung menschlicher Bewegungen, einschließlich Text-zu-Bewegung-Fähigkeiten, nachgewiesen. Diese Ansätze sind jedoch durch die Knappheit an annotierten Bewegungsdaten, den Fokus auf Einzelpersonen-Bewegungen und das Fehlen detaillierter Steuerungsmöglichkeiten eingeschränkt. In diesem Paper stellen wir drei Formen der Komposition basierend auf Diffusionsprioritäten vor: sequenzielle, parallele und modellbasierte Komposition. Mittels sequenzieller Komposition lösen wir die Herausforderung der Generierung langer Bewegungssequenzen. Wir führen DoubleTake ein, eine inferenzzeitbasierte Methode, mit der wir lange Animationen aus hintereinander abgespielten, durch Prompts gesteuerten Intervallen sowie deren Übergängen generieren, wobei lediglich ein zuvor für kurze Clips trainiertes Prior verwendet wird. Mittels paralleler Komposition zeigen wir vielversprechende Fortschritte bei der Generierung von Bewegungen zweier Personen. Ausgehend von zwei festen Prioritäten sowie wenigen Trainingsbeispielen für Zweipersonen-Bewegungen lernen wir einen schlanken Kommunikationsblock, ComMDM, um die Interaktion zwischen den resultierenden Bewegungen zu koordinieren. Schließlich nutzen wir modellbasierte Komposition, indem wir zunächst einzelne Prioritäten trainieren, um Bewegungen zu vervollständigen, die eine vorgegebene Bewegung für eine bestimmte Gelenkposition realisieren. Anschließend führen wir DiffusionBlending ein, eine Interpolationsmechanik, um mehrere solcher Modelle effektiv zu kombinieren und so flexible, effiziente, feinabgestimmte Steuerung und Bearbeitung auf Gelenk- und Trajektorieebene zu ermöglichen. Wir evaluieren die Kompositionsansätze mit einem kommerziell verfügbaren Bewegungs-Diffusionsmodell und vergleichen die Ergebnisse zudem mit spezialisierten Modellen, die für diese spezifischen Aufgaben trainiert wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp