시퀀스 일관성을 위한 자기 지도 학습을 이용한 GAN 기반 비디오 생성

본 연구는 GAN 기반 비디오 생성 작업을 위한 시간적 자기 감독을 탐구합니다. 적대적 훈련은 다양한 분야에서 성공적으로 생성 모델을 산출하지만, 생성된 데이터의 시간적 관계는 상대적으로 덜 연구되어 왔습니다. 자연스러운 시간적 변화는 비디오 초해상도 및 비동기 비디오 변환과 같은 순차적 생성 작업에 매우 중요합니다. 비디오 초해상도의 경우, 최신 방법들은 적대적 훈련보다 $L^2$와 같은 간단한 규범 손실을 선호하는 경향이 있습니다. 그러나 이들의 평균화 특성은 공간적인 세부 정보가 부족한 시간적으로 부드러운 결과를 쉽게 초래합니다. 비동기 비디오 변환의 경우, 기존 접근 방식들은 생성자 네트워크를 수정하여 시공간 사이클 일관성을 형성합니다. 반면에, 우리는 학습 목표를 개선하는 데 중점을 두고 시간적으로 자기 감독되는 알고리즘을 제안합니다. 두 작업 모두에서, 우리는 시간적 적대적 학습이 공간적인 세부 정보를 희생하지 않으면서 시간적으로 일관된 해결책을 달성하는 데 핵심임을 보여줍니다. 또한, 장기적인 시간 일관성을 개선하기 위해 새로운 Ping-Pong 손실(Ping-Pong loss)을 제안합니다. 이는 상세한 특징을 억제하지 않으면서 재귀 신경망이 시간적으로 잡음을 누적하는 것을 효과적으로 방지합니다. 더불어, 우리는 시간 진화의 정확성과 지각 품질을 정량적으로 평가하기 위한 첫 번째 지표 집합을 제안합니다. 이러한 지표로 계산된 순위를 확인하기 위해 일련의 사용자 연구가 수행되었습니다. 코드, 데이터, 모델 및 결과는 https://github.com/thunil/TecoGAN에서 제공됩니다. 프로젝트 페이지(https://ge.in.tum.de/publications/2019-tecogan-chu/)에는 보충 자료가 포함되어 있습니다.