2달 전

프레임-리커런트 비디오 슈퍼 리졸루션

Sajjadi, Mehdi S. M. ; Vemulapalli, Raviteja ; Brown, Matthew
프레임-리커런트 비디오 슈퍼 리졸루션
초록

최근 비디오 초해상도 기술의 발전은 합성곱 신경망과 움직임 보정을 결합하면 여러 저해상도(LR) 프레임에서 정보를 통합하여 고품질 이미지를 생성할 수 있음을 보여주었습니다. 현재 최신 방법들은 단일 고해상도(HR) 프레임을 생성하기 위해 LR 프레임 배치를 처리하고, 이 방식을 전체 비디오에 걸쳐 슬라이딩 윈도우 방식으로 실행하여 사실상 많은 개별 다중 프레임 초해상도 작업으로 문제를 다루고 있습니다. 이러한 접근 방식은 두 가지 주요 약점을 가지고 있습니다: 1) 각 입력 프레임이 여러 번 처리되고 왜곡되므로 계산 비용이 증가하며, 2) 각 출력 프레임이 입력 프레임에 조건부로 독립적으로 추정되기 때문에 시스템의 시간적 일관성을 제한합니다.본 연구에서는 이전에 추론된 HR 추정값을 사용하여 다음 프레임을 초해상도화하는 엔드투엔드 학습 가능한 프레임 재귀형 비디오 초해상도 프레임워크를 제안합니다. 이는 자연스럽게 시간적 일관성을 강화하고, 각 단계에서 하나의 이미지만 왜곡함으로써 계산 비용을 줄이는 효과가 있습니다. 또한 재귀적인 특성 덕분에 제안된 방법은 추가적인 계산 요구 없이 많은 이전 프레임들을 흡수할 수 있는 능력을 갖추고 있습니다. 광범위한 평가와 이전 방법들과의 비교를 통해 본 접근 방식의 장점이 입증되었으며, 제안된 프레임워크가 현존하는 최신 기술보다 크게 우수함을 보여주었습니다.

프레임-리커런트 비디오 슈퍼 리졸루션 | 최신 연구 논문 | HyperAI초신경