이미지 애니메이션을 위한 1차 순서 운동 모델

이미지 애니메이션은 소스 이미지 내 객체를 드라이빙 비디오의 움직임에 따라 애니메이션화하는 비디오 시퀀스를 생성하는 과정을 의미한다. 본 연구 프레임워크는 애니메이션화할 특정 객체에 대한 레이블링 정보나 사전 지식 없이도 이 문제를 해결한다. 동일한 카테고리(예: 얼굴, 인간 몸체 등)의 객체를 포함한 비디오 세트에 대해 훈련된 후, 본 방법은 해당 클래스의 어떠한 객체에도 적용 가능하다. 이를 달성하기 위해, 자기 지도(self-supervised) 형식을 활용하여 외형 정보와 운동 정보를 분리한다. 복잡한 움직임을 지원하기 위해, 학습된 키포인트 집합과 그들의 국소 아핀 변환을 포함하는 표현 방식을 사용한다. 생성자 네트워크는 타겟 움직임 중 발생하는 가림 현상을 모델링하며, 소스 이미지에서 추출한 외형 정보와 드라이빙 비디오에서 유도한 운동 정보를 결합한다. 본 프레임워크는 다양한 벤치마크와 다양한 객체 카테고리에서 최고의 성능을 기록하였다. 본 연구의 소스 코드는 공개되어 있다.