다중 규모 양방향 전파를 갖춘 심층 순환 신경망을 이용한 영상 흐림 제거

최근의 최첨단 비디오 블러 제거 기법의 성공은 주로 잠재적 비디오 복원을 위해 인접 프레임 간의 정렬 정보를 암묵적 또는 명시적으로 추정하는 데 기인한다. 그러나 블러 효과의 영향으로 인해 흐린 인접 프레임에서 정렬 정보를 추정하는 것은 간단한 작업이 아니다. 정확하지 않은 추정은 이후 프레임 복원 과정에 방해가 된다. 정렬 정보를 추정하는 대신, 우리는 비정렬된 인접 프레임으로부터 정보를 효과적으로 전파하고 집계할 수 있는 간단하면서도 효과적인 다층 양방향 전파를 갖춘 깊은 순환 신경망(RNN-MBP)을 제안한다. 구체적으로, 서로 다른 스케일에서 통합함으로써 비정렬된 인접 은닉 상태로부터 프레임 간 정보를 직접 활용할 수 있는 두 개의 U-Net RNN 셀을 포함한 다층 양방향 전파(MBP) 모듈을 설계하였다. 더불어, 제안된 알고리즘과 기존 최첨단 기법들이 실제 세계의 흐린 장면에서 어떻게 성능을 발휘하는지를 보다 정확히 평가하기 위해, 잘 설계된 디지털 비디오 캡처 시스템(DVAS)을 활용하여 실세계 흐린 비디오 데이터셋(RBVD)을 구축하였으며, 이를 학습 및 평가 데이터셋으로 사용하였다. 광범위한 실험 결과는 제안된 RBVD 데이터셋이 기존 알고리즘의 실세계 흐린 비디오에 대한 성능을 효과적으로 향상시킨다는 것을 입증하였으며, 제안된 알고리즘은 세 가지 대표적인 벤치마크에서 기존 최첨단 기법들과 비교하여 유리한 성능을 보였다. 코드는 https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP 에서 공개되어 있다.