CharacterShot: 조작 가능하고 일관된 4차원 캐릭터 애니메이션

이 논문에서는 단일 참조 캐릭터 이미지와 2D 포즈 시퀀스를 입력으로 받아, 누구나 동적 3D 캐릭터(즉, 4D 캐릭터 애니메이션)를 생성할 수 있도록 하는 조절 가능하고 일관성 있는 4D 캐릭터 애니메이션 프레임워크인 CharacterShot을 제안한다. 본 연구는 최첨단 DiT 기반 이미지-비디오 모델을 기반으로 한 강력한 2D 캐릭터 애니메이션 모델을 사전 학습함으로써 시작한다. 이 모델은 임의의 2D 포즈 시퀀스를 제어 신호로 활용할 수 있도록 한다. 이후, 카메라 사전 지식과 이중 주의( dual-attention ) 모듈을 도입하여 2D 애니메이션 모델을 3D로 확장함으로써, 시공간적 일관성과 시각적 일관성을 갖춘 다중 시점 비디오를 생성한다. 마지막으로, 이러한 다중 시점 비디오에 대해 새로운 이웃 제약 기반 4D 가우시안 스플래터링 최적화 기법을 적용하여, 지속적이고 안정적인 4D 캐릭터 표현을 구현한다. 더불어, 캐릭터 중심 성능을 향상시키기 위해, 다양한 외형과 동작을 가진 13,115개의 고유 캐릭터를 포함하는 대규모 데이터셋 Character4D를 구축하였다. 새로 구축한 벤치마크인 CharacterBench에서 실시한 광범위한 실험 결과, 제안하는 방법이 기존 최첨단 기법들을 상회함을 입증하였다. 코드, 모델, 데이터셋은 모두 공개될 예정이며, GitHub 페이지에서 확인 가능하다: https://github.com/Jeoyal/CharacterShot.