HR 광학 유동 추정을 통한 비디오 초해상도 학습

비디오 슈퍼 리졸루션(SR)은 저해상도(LR) 프레임에서 고해상도(HR) 프레임의 시퀀스를 생성하여 실제적이고 시간적으로 일관된 세부 정보를 제공하는 것을 목표로 합니다. 정확한 대응 관계의 생성은 비디오 SR에서 중요한 역할을 합니다. 전통적인 비디오 SR 방법들은 이미지와 광학 흐름을 동시에 슈퍼 리졸루션화하면 정확한 대응 관계와 더 나은 SR 결과를 제공할 수 있음을 보여주었습니다. 그러나 기존의 딥 러닝 기반 방법에서는 LR 광학 흐름이 대응 관계 생성에 사용되고 있습니다. 본 논문에서는 이미지와 광학 흐름을 모두 슈퍼 리졸루션화할 수 있는 엔드투엔드 학습 가능한 비디오 SR 프레임워크를 제안합니다. 구체적으로, 먼저 거친 단계에서 세밀한 단계로 HR 광학 흐름을 추론하는 광학 흐름 재구성 네트워크(OFRnet)를 제안합니다. 그런 다음, HR 광학 흐름에 따라 모션 보정이 수행됩니다. 마지막으로, 보정된 LR 입력은 슈퍼 리졸루션 네트워크(SRnet)에 전달되어 SR 결과를 생성합니다. 다양한 실험을 통해 HR 광학 흐름이 LR 광학 흐름보다 더 정확한 대응 관계를 제공하며, 정확성과 일관성 성능을 개선한다는 것이 입증되었습니다. Vid4 및 DAVIS-10 데이터셋에서의 비교 결과는 제안된 프레임워크가 최신 기술 수준의 성능을 달성함을 보여줍니다.