반복적 비디오 흐림 제거를 위한 흐림 무관성 운동 추정 및 픽셀 볼륨 기반 방법

비디오 디블러링 성공을 위해서는 인접 프레임들로부터의 정보를 효과적으로 활용하는 것이 필수적이다. 최신 비디오 디블러링 기법의 대부분은 타겟 프레임을 복원하는 데 도움이 되는 다수의 프레임 정보를 통합하기 위해 프레임 간 운동 보정(motion compensation)을 채택하고 있다. 그러나 기존 디블러링 기법들이 사용하는 운동 보정 방법은 블러(blur)에 비의존적이지 않아, 블러 정도가 다른 프레임에 대해 정확도가 제한된다. 이 문제를 완화하기 위해, 다수의 비디오 프레임에서 정보를 효과적으로 통합함으로써 비디오 디블러링을 수행하는 두 가지 새로운 접근 방식을 제안한다. 첫째, 블러에 영향을 받지 않는 운동 추정 학습(blur-invariant motion estimation learning)을 제안하여 블러된 프레임 간의 운동 추정 정확도를 향상시킨다. 둘째, 운동 보정 과정에서 추정된 운동으로 프레임을 왜곡(warping)하여 정렬하는 대신, 후보 선명 픽셀들을 포함하는 픽셀 볼륨(pixel volume)을 활용하여 운동 추정 오류를 해결한다. 이러한 두 가지 과정을 결합하여, 이전에 복원된 프레임의 정보를 최대한 활용할 수 있는 효과적인 순환형 비디오 디블러링 네트워크를 제안한다. 실험 결과, 최근 딥러닝 기반 기법들과 비교하여 정량적·정성적 측면에서 최고 성능을 달성함을 확인하였다.