공간적으로 변형되는 순환 신경망을 이용한 동적 장면의 흐림 제거

다이나믹 장면에서 촬영된 이미지의 복원은 카메라 흔들림과 장면의 다양한 깊이에 따른 객체 운동으로 인해 발생하는 공간적으로 변화하는 블러 현상 때문에 어렵다. 최근 딥 신경망 기반의 연구들은 이 문제 해결에 있어 큰 진전을 보였지만, 대부분의 모델은 크기가 크고 계산 비용이 높은 경향이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 공간적으로 변화하는 신경망을 제안한다. 제안한 네트워크는 세 개의 깊은 합성곱 신경망(CNN)과 하나의 순환 신경망(RNN)으로 구성된다. RNN은 입력 이미지에서 하나의 CNN이 추출한 특징 맵에 대해 역합성곱 연산을 수행하는 데 사용된다. 또 다른 CNN은 RNN의 각 위치에서 가중치를 학습하는 데 사용되며, 결과적으로 RNN은 공간적으로 변화하는 구조를 가지게 되어 공간적으로 변화하는 커널을 암묵적으로 모델링함으로써 복원 과정을 효과적으로 표현할 수 있다. 세 번째 CNN은 최종 복원된 특징 맵을 원본 이미지로 재구성하는 데 사용된다. 전체 네트워크는 엔드 투 엔드로 훈련 가능하다. 분석 결과, 제안한 네트워크는 작은 모델 크기에도 불구하고 광범위한 수용장(field)을 가지는 것으로 나타났다. 공개 데이터셋을 이용한 정량적 및 정성적 평가 결과, 제안한 방법은 정확도, 속도, 모델 크기 측면에서 최신 기술 대비 우수한 성능을 보였다.