비지도 학습을 이용한 주기 일관성 기반 비디오 보간

고 프레임 레이트 비디오를 합성하기 위해 보간을 사용하는 학습은 대량의 고 프레임 레이트 훈련 비디오가 필요하지만, 특히 고해상도에서 이러한 비디오는 매우 드물다. 본 연구에서는 저 프레임 레이트 비디오에서 직접 고 프레임 레이트 비디오를 합성하기 위한 사이클 일관성을 이용한 비지도 기법을 제안한다. 연속된 세 프레임의 트리플렛에 대해, 우리는 중앙 프레임과 보간된 중간 프레임으로부터 다시 보간하여 얻은 사이클 재구성 간의 차이를 최소화하도록 모델을 최적화한다. 이 단순한 비지도 제약 조건만으로도 실제 중간 프레임을 사용한 감독 학습과 유사한 결과를 달성할 수 있다. 또한, 사전 훈련된 보간 모델의 예측과 일치하도록 보간된 프레임을 강제하는 의사 감독 손실 항을 도입하였다. 사이클 일관성과 함께 사용되는 이 의사 감독 손실 항은 사전 훈련된 모델을 새로운 대상 영역에 효과적으로 적응시키는 데 활용될 수 있다. 추가적인 데이터 없이 완전히 비지도 방식으로, 우리의 기법은 새로운 대상 영역에서 사전 훈련된 모델의 성능을 크게 개선하여 Slowflow 평가 데이터셋에서 PSNR 값을 32.84dB에서 33.05dB로, Sintel 평가 데이터셋에서는 31.82dB에서 32.53dB로 증가시켰다.