초록
우리는 영상 흐림 제거를 위한 간단하고 효과적인 딥 컨볼루션 신경망(CNN) 모델을 제안한다. 제안하는 알고리즘은 중간 잠재 프레임( intermediate latent frames)에서 광학 흐름(optical flow) 추정 및 잠재 프레임 복원 단계로 구성된다. 먼저, 중간 잠재 프레임에서 광학 흐름을 추정하기 위한 딥 CNN 모델을 개발한 후, 추정된 광학 흐름을 기반으로 잠재 프레임을 복원한다. 영상에서 시간 정보를 더 효과적으로 탐색하기 위해, 잠재 프레임 복원을 지원할 수 있도록 시간적 선명도 사전(temporal sharpness prior)을 제안한다. 또한, 효과적인 캐스케이드 형태의 학습 방법을 개발하여 제안된 CNN 모델을 엔드투엔드(end-to-end) 방식으로 공동 학습한다. 실험을 통해 영상 흐림 제거의 도메인 지식을 탐색함으로써 딥 CNN 모델이 더욱 컴팩트하고 효율적임을 입증하였다. 광범위한 실험 결과는 제안된 알고리즘이 기준 데이터셋과 실제 영상 모두에서 최첨단 기법들과 경쟁 가능한 성능을 보임을 보여준다.