딥러닝 기반 4K 영상의 실시간 슈퍼해상도 시스템

비디오 슈퍼리졸루션(VSR) 기술은 보간 기반 알고리즘으로 인해 발생하는 불쾌한 흐림 현상을 피하면서 저품질 비디오를 효과적으로 복원하는 데 뛰어난 성능을 발휘한다. 그러나 방대한 계산 복잡성과 메모리 사용량은 실생활 응용에서의 실시간 추론 및 실용성에 큰 제약을 초래하며, 특히 대규모 VSR 작업에서는 더욱 두드러진 문제로 작용한다. 본 논문은 실시간 VSR 시스템의 가능성을 탐구하고, 효율적이고 일반적인 VSR 네트워크인 EGVSR을 설계하였다. 제안하는 EGVSR는 시간적 일관성을 확보하기 위해 공간-시간 적대적 학습 기반 아키텍처를 채택하였다. 4K 해상도까지의 빠른 VSR 처리 능력을 달성하기 위해, 높은 시각적 품질을 유지하면서도 계산 부담을 최소화하기 위해 경량화된 네트워크 구조와 효율적인 업샘플링 방법을 선택하였다. 또한 실제 하드웨어 플랫폼에서 배치 정규화 연산 통합, 컨볼루션 가속 알고리즘 등 다양한 신경망 가속 기술을 구현하여 EGVSR 네트워크의 추론 프로세스를 최적화하였다. 최종적으로 EGVSR는 4K@29.61FPS의 실시간 처리 성능을 달성하였다. 현재 가장 최신의 VSR 네트워크인 TecoGAN과 비교했을 때, 계산 밀도는 85.04% 감소시키고 성능 가속은 7.92배까지 향상시켰다. 시각적 품질 측면에서도 공개 테스트 데이터셋 Vid4에서 LPIPS, tOF, tLP 등 주요 지표에서 최고 성능을 기록하며, 전반적인 성능 점수에서도 기존 최첨단 방법들을 상회하였다. 본 프로젝트의 소스 코드는 https://github.com/Thmen/EGVSR에서 확인할 수 있다.