다중 카메라 비디오 트리플렛을 이용한 참조 기반 비디오 초해상도 재생성

우리는 고충실도 결과를 위해 참조 비디오를 활용하는 첫 번째 참조 기반 비디오 초해상화(RefVSR) 접근 방식을 제안합니다. 우리는 초광각 비디오의 해상도를 향상시키기 위해 광각 및 망원 비디오를 활용하는 세 개의 카메라 환경에서 RefVSR에 집중합니다. 우리는 저해상도 프레임에서 추출된 특징과 융합된 시간적 참조 특징을 반복적으로 정렬하고 전파하는 첫 번째 RefVSR 네트워크를 소개합니다. 시간적 참조 특징의 융합과 전파를 용이하게 하기 위해, 우리는 전파형 시간 융합 모듈을 제안합니다. 우리의 네트워크 학습과 평가를 위해, 스마트폰의 세 개 카메라에서 동시에 촬영한 초광각, 광각, 망원 비디오 트리플렛으로 구성된 첫 번째 RefVSR 데이터셋을 제시합니다. 또한, 제안된 데이터셋의 비디오 트리플렛을 완전히 활용하여 실제 4배 초해상화를 위한 두 단계 학습 전략을 제안합니다. 우리의 방법론은 광범위하게 평가되었으며, 결과는 4배 초해상화에서 최고 수준의 성능을 보여줍니다.