초록
비디오의 시각적 신호는 내용과 운동으로 나눌 수 있습니다. 내용은 비디오에 어떤 객체가 있는지를 지정하는 반면, 운동은 그들의 역학을 설명합니다. 이 사전 지식을 바탕으로, 우리는 비디오 생성을 위한 모션과 내용 분해된 생성적 적대 네트워크(Motion and Content decomposed Generative Adversarial Network, MoCoGAN) 프레임워크를 제안합니다. 제안된 프레임워크는 무작위 벡터 시퀀스를 비디오 프레임 시퀀스로 매핑하여 비디오를 생성합니다. 각 무작위 벡터는 내용 부분과 운동 부분으로 구성됩니다. 내용 부분은 고정된 상태로 유지되는 반면, 운동 부분은 확률 과정으로 실현됩니다. 감독 없이 모션과 내용 분해를 학습하기 위해, 우리는 이미지 판별기와 비디오 판별기를 모두 활용하는 새로운 적대 학습 방식을 소개합니다. 여러 도전적인 데이터셋에서 수행한 광범위한 실험 결과와 최신 접근법들과의 정성적 및 정량적 비교를 통해 제안된 프레임워크의 효과성이 검증되었습니다. 또한, MoCoGAN이 동일한 내용을 가지지만 다른 운동을 가진 비디오뿐만 아니라 다른 내용을 가지지만 동일한 운동을 가진 비디오도 생성할 수 있음을 보여줍니다.