실시간 비디오 초해상도 재생성에 대한 시공간 네트워크와 움직임 보정 기법의 활용

컨벌루션 신경망은 실시간으로 정확한 이미지 초해상화를 가능하게 하였습니다. 그러나 최근 비디오 초해상화에서 시간적 상관관계를 활용하려는 시도들은 단순하거나 비효율적인 아키텍처에 제한되어 왔습니다. 본 논문에서는 시간적 중복성을 효과적으로 활용하고 재구성 정확도를 향상시키면서 실시간 속도를 유지하는 공간-시간 하위 픽셀 컨벌루션 네트워크를 소개합니다. 특히, 여러 연속된 비디오 프레임의 공동 처리를 위해 초기 융합, 천천히 융합 및 3D 컨벌루션의 사용을 논의합니다. 또한, 경쟁 방법들보다 수십 배 더 효율적인 새로운 공동 모션 보정 및 비디오 초해상화 알고리즘을 제안하며, 이 알고리즘은 빠른 다중 해상도 공간 변환기 모듈에 의존하여 엔드투엔드 학습이 가능합니다. 이러한 기여사항들은 질적 및 양적 측면에서 더욱 높은 정확도와 시간적으로 일관성 있는 비디오를 제공함을 확인하였습니다. 단일 프레임 모델과 비교할 때, 공간-시간 네트워크는 같은 품질을 유지하면서 계산 비용을 30% 줄일 수 있거나 유사한 계산 비용으로 0.2dB의 성능 향상을 제공할 수 있습니다. 공개 데이터셋에서의 결과는 제안된 알고리즘이 정확성과 효율성 면에서 현재 최신 연구 성과를 능가함을 입증하였습니다.