고해상도 비디오 합성에 필요한 것은 좋은 이미지 생성기입니다.

이미지 및 영상 합성은 노이즈에서 콘텐츠를 생성하는 것을 목표로 하는 밀접하게 연관된 분야이다. 이미지 기반 모델이 고해상도 처리, 고품질 렌더링, 이미지 콘텐츠의 다양한 변형을 처리하는 데 있어 빠른 진전을 보였음에도 불구하고, 영상 생성 측면에서는 유사한 성과를 달성하는 것은 여전히 어려운 과제이다. 본 연구에서는 최신 이미지 생성 모델을 활용하여 고해상도 영상을 렌더링하는 프레임워크를 제안한다. 우리는 영상 합성 문제를 미리 훈련된 고정된 이미지 생성 모델의 잠재 공간 내에서 원하는 궤적을 탐색하는 문제로 재정의한다. 이러한 프레임워크는 고해상도 영상을 생성할 뿐만 아니라, 계산 효율성이 한 단계 이상 향상된다. 또한 콘텐츠와 운동을 분리한 표현을 가능하게 하는 운동 생성 모델을 도입한다. 이러한 표현 방식을 통해 본 프레임워크는 콘텐츠 및 운동 조작을 포함한 다양한 응용 가능성을 제공한다. 더불어, 서로 다른 도메인에 속한 분리된 데이터셋에서 이미지 생성 모델과 운동 생성 모델을 각각 훈련시키는 새로운 작업인 '다중 도메인 영상 합성'을 제안한다. 이는 원하는 영상 데이터가 존재하지 않는 움직이는 객체를 생성하는 데 가능성을 열어준다. 다양한 데이터셋에 대한 광범위한 실험을 통해 기존 영상 생성 기법에 비해 본 방법의 우수성을 입증하였다. 코드는 https://github.com/snap-research/MoCoGAN-HD 에서 공개될 예정이다.