3달 전

DynaVSR: 동적 적응형 블라인드 비디오 슈퍼해상도

Suyoung Lee, Myungsub Choi, Kyoung Mu Lee
DynaVSR: 동적 적응형 블라인드 비디오 슈퍼해상도
초록

대부분의 전통적인 감독형 초해상도(이하 SR) 알고리즘은 저해상도(LR) 데이터가 고정된 알려진 커널을 사용하여 고해상도(HR) 데이터를 하향 스케일링한 것으로 가정하지만, 이러한 가정은 실제 환경에서는 종종 성립하지 않는다. 최근 일부 블라인드 SR 알고리즘이 제안되어 각 입력 LR 이미지에 대해 서로 다른 하향 스케일링 커널을 추정하고자 하였으나, 이들 알고리즘은 계산 부담이 크기 때문에 비디오에 직접 적용하기에는 부적합하다. 본 연구에서는 실세계 비디오 SR을 위한 새로운 메타학습 기반 프레임워크인 DynaVSR을 제안한다. 이 프레임워크는 효율적인 하향 스케일링 모델 추정과 현재 입력에 대한 적응을 가능하게 한다. 구체적으로, 다양한 종류의 합성 흐림 커널을 사용하여 다중 프레임 하향 스케일링 모듈을 학습하고, 이를 입력 인식형 적응이 가능한 비디오 SR 네트워크와 원활하게 통합한다. 실험 결과, DynaVSR은 기존 최첨단 비디오 SR 모델의 성능을 크게 향상시키며, 기존 블라인드 SR 접근법 대비 inference 속도가 수배 이상 빠르다는 점을 입증하였다.