HyperAIHyperAI

Command Palette

Search for a command to run...

AnimaX: Die Animation von Unbelebtem in 3D durch gemeinsame Video-Pose-Diffusionsmodelle

Zehuan Huang Haoran Feng Yangtian Sun Yuanchen Guo Yanpei Cao Lu Sheng

Zusammenfassung

Wir stellen AnimaX vor, einen feedforward-basierten 3D-Animationssystem, das die Bewegungsvorwissen von Videodiffusionsmodellen mit der steuerbaren Struktur von skelettbasierter Animation verbindet. Traditionelle Bewegungssyntheseverfahren sind entweder auf feste Skeletttopologien beschränkt oder erfordern eine kostspielige Optimierung in hochdimensionalen Deformationsräumen. Im Gegensatz dazu überträgt AnimaX Wissensbestände über videobasierte Bewegungen effektiv in den 3D-Bereich und unterstützt vielfältige artikulierte Netze mit beliebigen Skeletten. Unser Verfahren repräsentiert 3D-Bewegungen als multiview-, multiframes 2D-Posekarten und ermöglicht eine gemeinsame Video-Pose-Diffusion unter Berücksichtigung von Vorlagenrenderings und einem textuellen Bewegungshinweis. Wir führen geteilte positionale Codierungen und modalitätsbewusste Einbettungen ein, um eine räumlich-zeitliche Ausrichtung zwischen Videofolgen und Posefolgen sicherzustellen, wodurch wir effektiv die Videovorwissen auf die Aufgabe der Bewegungsgenerierung übertragen. Die resultierenden multiview-Posefolgen werden in 3D-Gelenkpositionen trianguliert und durch inverse Kinematik in Netzanimationen konvertiert. Trainiert wurde AnimaX anhand eines neu zusammengestellten Datensatzes von 160.000 geriggeten Folgen, wodurch es auf VBench hinsichtlich Generalisierungsfähigkeit, Bewegungstreuheit und Effizienz Spitzenleistungen erzielt und eine skalierbare Lösung für kategorieunabhängige 3D-Animation bietet. Projektseite: https://anima-x.github.io/{https://anima-x.github.io/}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
AnimaX: Die Animation von Unbelebtem in 3D durch gemeinsame Video-Pose-Diffusionsmodelle | Paper | HyperAI