AnimaX: Die Animation von Unbelebtem in 3D durch gemeinsame Video-Pose-Diffusionsmodelle

Wir stellen AnimaX vor, einen feedforward-basierten 3D-Animationssystem, das die Bewegungsvorwissen von Videodiffusionsmodellen mit der steuerbaren Struktur von skelettbasierter Animation verbindet. Traditionelle Bewegungssyntheseverfahren sind entweder auf feste Skeletttopologien beschränkt oder erfordern eine kostspielige Optimierung in hochdimensionalen Deformationsräumen. Im Gegensatz dazu überträgt AnimaX Wissensbestände über videobasierte Bewegungen effektiv in den 3D-Bereich und unterstützt vielfältige artikulierte Netze mit beliebigen Skeletten. Unser Verfahren repräsentiert 3D-Bewegungen als multiview-, multiframes 2D-Posekarten und ermöglicht eine gemeinsame Video-Pose-Diffusion unter Berücksichtigung von Vorlagenrenderings und einem textuellen Bewegungshinweis. Wir führen geteilte positionale Codierungen und modalitätsbewusste Einbettungen ein, um eine räumlich-zeitliche Ausrichtung zwischen Videofolgen und Posefolgen sicherzustellen, wodurch wir effektiv die Videovorwissen auf die Aufgabe der Bewegungsgenerierung übertragen. Die resultierenden multiview-Posefolgen werden in 3D-Gelenkpositionen trianguliert und durch inverse Kinematik in Netzanimationen konvertiert. Trainiert wurde AnimaX anhand eines neu zusammengestellten Datensatzes von 160.000 geriggeten Folgen, wodurch es auf VBench hinsichtlich Generalisierungsfähigkeit, Bewegungstreuheit und Effizienz Spitzenleistungen erzielt und eine skalierbare Lösung für kategorieunabhängige 3D-Animation bietet. Projektseite: https://anima-x.github.io/{https://anima-x.github.io/}.