희소하게 학습하고 밀집하게 생성하기: 고해상도 시계열 GAN의 메모리 효율적인 비지도 학습

비디오 데이터셋에서 생성적 적대 네트워크(GAN)를 훈련시키는 것은 데이터셋의 크기와 각 관측치의 복잡성 때문에 도전적인 과제입니다. 일반적으로 GAN의 훈련 계산 비용은 해상도에 따라 지수적으로 증가합니다. 본 연구에서는 해상도가 높은 비디오 데이터셋을 비지도 학습하는 새로운 메모리 효율적인 방법을 제시하며, 이 방법은 계산 비용이 해상도에 따라 선형적으로만 증가합니다. 이를 위해 생성자 모델을 작은 하위 생성자의 쌓인 구조로 설계하고 특정 방식으로 모델을 훈련시킵니다. 우리는 각 하위 생성자를 그에 맞는 특정 판별자와 함께 훈련시킵니다. 훈련 시, 연속된 하위 생성자 쌍 사이에 프레임 속도를 일정 비율로 줄이는 보조 샘플링 레이어를 도입합니다. 이 절차를 통해 각 하위 생성자는 다양한 해상도 수준에서 비디오의 분포를 학습할 수 있습니다. 또한, 매우 복잡한 생성자를 훈련시키기 위해서는 몇 개의 GPU만 필요하며, 이는 전임 모델보다 인셉션 스코어(Inception Score) 면에서 크게 우수한 성능을 보입니다.