EDVR: 향상된 변형 합성곱 네트워크를 이용한 비디오 복원

비디오 복원 작업, 초해상도, 블러 제거 등을 포함하여 컴퓨터 비전 분야에서 점점 더 많은 관심을 받고 있습니다. NTIRE19 챌린지에서는 이러한 작업들을 평가하기 위한 도전적인 벤치마크인 REDS가 발표되었습니다. 이 새로운 벤치마크는 기존 방법론에 두 가지 측면에서 도전을 제기합니다: (1) 큰 움직임이 주어졌을 때 여러 프레임을 어떻게 정렬할 것인가, 그리고 (2) 다양한 움직임과 블러를 가진 다른 프레임들을 어떻게 효과적으로 융합할 것인가입니다.본 연구에서는 이러한 도전 과제를 해결하기 위해 강화된 변형 네트워크를 사용한 새로운 비디오 복원 프레임워크인 EDVR(Enhanced Deformable Video Restoration)를 제안합니다. 첫째, 큰 움직임을 처리하기 위해 피라미드, 계단식 및 변형(PCD) 정렬 모듈을 설계하였습니다. 이 모듈은 변형 합성곱을 사용하여 거칠게부터 세밀하게 프레임 정렬을 특징 수준에서 수행합니다. 둘째, 시간적 및 공간적 주의(TSA) 융합 모듈을 제안하였습니다. 이 모듈은 시간적과 공간적으로 주의 메커니즘을 적용하여 후속 복원 과정에서 중요한 특성을 강조합니다.이러한 모듈들 덕분에 우리의 EDVR는 NTIRE19 비디오 복원 및 향상 챌린지의 모든 4개 트랙에서 우승하며, 두 번째로 좋은 성능을 보인 방법론보다 크게 우수한 결과를 얻었습니다. 또한 EDVR는 동영상 초해상도와 블러 제거에서 최신 연구 방법론들보다도 우수한 성능을 보여주었습니다. 코드는 https://github.com/xinntao/EDVR 에서 확인할 수 있습니다.