관절 운동 애니메이션을 위한 모션 표현

연결된 부분으로 구성된 물체를 애니메이션화하기 위한 새로운 운동 표현 방식을 제안한다. 본 방법은 완전히 비지도 학습 방식으로 물체의 각 부분을 식별하고, 드라이빙 영상 내에서 해당 부분들을 추적하며, 주축을 고려하여 그들의 운동을 추론한다. 기존의 키포인트 기반 연구들과 달리, 본 방법은 위치, 형태, 자세를 설명하는 의미 있고 일관된 영역을 추출한다. 이러한 영역은 의미적으로 관련성 있고 구분 가능한 물체의 부분에 대응하며, 드라이빙 영상의 프레임에서 보다 쉽게 탐지될 수 있다. 전경과 배경을 분리시키기 위해, 추가적인 아핀 변환을 사용하여 물체와 관련 없는 전역 운동을 모델링한다. 애니메이션의 용이성과 드라이빙 물체의 형태가 누출되는 것을 방지하기 위해, 영역 공간 내에서 물체의 형태와 자세를 분리한다. 제안하는 모델은 다양한 종류의 물체를 애니메이션화할 수 있으며, 기존 벤치마크에서 기존 방법들을 크게 능가한다. 고해상도 영상으로 구성된 도전적인 새로운 벤치마크를 제시하며, 특히 연결된 물체를 고려할 경우 성능 향상이 특히 두드러짐을 보여주며, 상태 기술(SOTA) 대비 사용자 선호도가 96.6%에 달한다.