시간-공간 변조 네트워크를 이용한 제어 가능한 비디오 초해상도 재생성

우주-시간 영상 초해상도 (Space-time Video Super-Resolution, STVSR)는 저해상도와 낮은 프레임 레이트의 영상에서 공간적 및 시간적 해상도를 향상시키는 것을 목표로 합니다. 최근에 변형 합성곱 기반 방법들이 유망한 STVSR 성능을 달성하였지만, 이들은 훈련 단계에서 사전 정의된 중간 프레임만 추론할 수 있었습니다. 또한 이러한 방법들은 인접 프레임 간의 단기 운동 정보를 과소평가하였습니다. 본 논문에서는 정확한 고해상도 재구성을 통해 임의의 중간 프레임을 보간하는 시간 조절 네트워크 (Temporal Modulation Network, TMNet)를 제안합니다. 구체적으로, 제어 가능한 특징 보간을 위해 변형 합성곱 커널을 조정하는 시간 조절 블록 (Temporal Modulation Block, TMB)을 제안합니다. 시간 정보를 효과적으로 활용하기 위해, 단기 및 장기 운동 정보를 추출하기 위한 로컬-시간 특징 비교 (Locally-temporal Feature Comparison, LFC) 모듈과 양방향 변형 ConvLSTM를 제안합니다. 세 가지 벤치마크 데이터셋에서 수행한 실험 결과, 제안된 TMNet이 이전 STVSR 방법들을 능가함을 확인할 수 있었습니다. 코드는 https://github.com/CS-GangXu/TMNet에서 제공됩니다.