비디오 초해상도를 위한 협력적 피드백 차별 전파

기존 비디오 초해상도(VSR) 방법들의 주요 성공 요인은 공간적 및 시간적 정보를 탐색하는 데에서 비롯되며, 이는 일반적으로 재귀 전파 모듈과 정렬 모듈을 통해 이루어집니다. 그러나 부정확한 정렬은 종종 큰 아티팩트를 가진 정렬된 특성을 초래하며, 이러한 아티팩트는 전파 과정에서 누적되어 비디오 복원에 영향을 미칩니다. 또한, 전파 모듈은 동일한 시간 단계의 특성만을 앞으로 또는 뒤로 전파하므로 복잡한 움직임이나 가림 현상이 발생할 경우 성능이 저하될 수 있어 고품질 프레임 복원에 한계가 있습니다. 이러한 문제들을 해결하기 위해, 우리는 부정확한 정렬된 특성을 수정하고 더 나은 비디오 재구성을 위한 장거리 공간적 및 시간적 정보를 모델링하는 협력 피드백 차별화(CFD) 방법을 제안합니다. 구체적으로, 우리는 적응적으로 정보를 탐색하고 부정확한 정렬로 인해 발생하는 아티팩트의 영향을 줄이는 차별화 정렬 수정(DAC) 방법을 개발하였습니다. 그 다음으로, 우리는 피드백 및 게이팅 메커니즘을 활용하여 앞으로와 뒤로 동시에 다른 시간 단계의 특성들로부터 공간적 및 시간적 정보를 더 잘 탐색할 수 있는 협력 피드백 전파(CFP) 모듈을 제안합니다. 마지막으로, 우리가 제안한 DAC와 CFP를 일반적으로 사용되는 VSR 네트워크에 통합하여 우리의 방법의 유효성을 검증하였습니다. 여러 벤치마크에서 수행된 양적 및 질적 실험들은 우리의 방법이 기존 VSR 모델의 성능을 향상시키면서도 낮은 모델 복잡도를 유지할 수 있음을 보여줍니다. 소스 코드와 사전 학습된 모델들은 \url{https://github.com/House-Leo/CFDVSR}에서 제공될 예정입니다.