깊은 층 구조의 계층적 다중 패치 네트워크를 이용한 이미지 블러 제거

깊이 기반 엔드투엔드 학습 방법이 비균일한 움직임 블러 제거에서 우수성을 보여주었음에도 불구하고, 현재의 다중 스케일 및 스케일 재귀 모델에는 여전히 주요 과제가 존재합니다: 1) 코스-투-파인 방식에서 역합성(Deconvolution)/업샘플링(Upsampling) 연산은 비싼 실행 시간을 초래합니다; 2) 단순히 더 미세한 스케일 수준으로 모델 깊이를 증가시키는 것은 블러 제거 품질을 개선할 수 없습니다. 이러한 문제들을 해결하기 위해, 공간 피라미드 매칭(Spatial Pyramid Matching)에서 영감을 받은 깊이 기반 계층적 다중 패치 네트워크를 제안합니다. 이 네트워크는 블러된 이미지를 처리하기 위해 파인-투-코스 계층적 표현을 사용합니다. 성능 포화에 대한 문제를 해결하기 위해, 우리는 다중 패치 모델의 스택된 버전을 제안합니다. 제안된 기본 다중 패치 모델은 GoPro 데이터셋에서 최고 수준의 성능을 달성하면서 현재 다중 스케일 방법보다 40배 빠른 실행 시간을 제공합니다. 1280x720 해상도의 이미지를 30ms 안에 처리할 수 있으므로, 이는 처음으로 720p 이미지에서 30fps로 실시간 깊이 기반 움직임 블러 제거 모델입니다. 스택된 네트워크의 경우, 네트워크 깊이를 늘림으로써 GoPro 데이터셋에서 상당한 개선(1.2dB 이상)을 이루었습니다. 또한, 스택된 모델의 깊이를 변경함으로써 동일한 네트워크를 다양한 응용 시나리오에 맞게 성능과 실행 시간을 조정할 수 있습니다.