AnimaX: 3D에서 비생명체를 애니메이션화하는 공동 비디오-포즈 확산 모델

우리는 AnimaX를 소개합니다. AnimaX는 비디오 확산 모델의 운동 사전지식과 골격 기반 애니메이션의 제어 가능한 구조를 연결하는 순방향 3D 애니메이션 프레임워크입니다. 전통적인 운동 합성 방법은 고정된 골격 위상에 제한되거나 고차원 변형 공간에서 비용이 많이 드는 최적화가 필요합니다. 반면, AnimaX는 비디오 기반의 운동 지식을 3D 영역으로 효과적으로 이전하여 임의의 골격을 가진 다양한 관절 메시를 지원합니다. 우리의 방법은 3D 운동을 다중 시점, 다중 프레임 2D 자세 맵으로 표현하며, 템플릿 렌더링과 텍스트 운동 프롬프트에 조건부로 비디오-자세 확산을 가능하게 합니다. 우리는 공간-시간적 일치성을 보장하기 위해 공유 위치 인코딩과 모달리티 인식 임베딩을 도입하여 비디오 사전지식을 운동 생성 작업으로 효과적으로 전송합니다. 결과적으로 얻어진 다중 시점 자세 시퀀스는 삼각 측량법을 통해 3D 관절 위치로 변환되며, 역기구학(Inverse Kinematics)을 통해 메시 애니메이션으로 전환됩니다. 160,000개의 새로운 리깅 시퀀스 데이터셋으로 훈련된 AnimaX는 일반화, 운동 충실도, 효율성 면에서 VBench에서 최고 수준의 성능을 달성하며, 범주와 상관없이 확장 가능한 3D 애니메이션 솔루션을 제공합니다. 프로젝트 페이지: https://anima-x.github.io/{https://anima-x.github.io/}.