초록

우리는 캐릭터 애니메이션 및 교체를 위한 통합 프레임워크인 Wan-Animate를 소개합니다. 주어진 캐릭터 이미지와 참조 영상만으로, Wan-Animate는 영상 내 캐릭터의 표정과 동작을 정밀하게 재현함으로써 고해상도의 캐릭터 영상을 생성할 수 있습니다. 또한, 애니메이션된 캐릭터를 참조 영상에 통합하여 원래 캐릭터를 대체할 수도 있으며, 장면의 조명과 색조를 정확히 재현함으로써 환경과의 자연스러운 통합을 달성합니다. Wan-Animate는 Wan 모델을 기반으로 구축되었으며, 캐릭터 애니메이션 작업에 적합하도록 입력 방식을 개선하여 참조 조건과 생성 영역을 구분하는 설계를 적용하였습니다. 이로써 여러 작업을 동일한 기호적 표현으로 통합할 수 있습니다. 공간적으로 정렬된 스켈레톤 신호를 활용해 신체 동작을 재현하고, 소스 이미지에서 추출한 암묵적 얼굴 특징을 이용해 표정을 재현함으로써, 높은 제어성과 표현력을 갖춘 캐릭터 영상 생성이 가능합니다. 더불어 캐릭터 교체 시 환경 통합을 강화하기 위해 보조적인 Relighting LoRA 모듈을 개발하였습니다. 이 모듈은 캐릭터의 외형 일관성을 유지하면서도 적절한 환경 조명과 색조를 적용하여 자연스러운 시각적 통합을 실현합니다. 실험 결과, Wan-Animate가 최신 기술 수준의 성능을 달성함을 입증하였습니다. 우리는 모델 가중치 및 소스 코드를 오픈소스로 공개할 것을 약속합니다.