비국소 재귀 신경망을 이용한 이미지 복원

많은 고전적인 방법들이 자연 이미지에서의 비국소적 자기 유사성을 이미지 복원에 효과적인 사전 정보로 보여주었습니다. 그러나 이 본질적인 특성을 딥 네트워크를 통해 활용하는 것은 여전히 불분명하고 어려운 문제입니다. 본 논문에서는 이미지 복원을 위해 비국소적 연산을 순환 신경망(RNN, Recurrent Neural Network)에 통합하는 첫 시도로서 비국소적 순환 네트워크(NLRN, Non-Local Recurrent Network)를 제안합니다. 본 연구의 주요 기여점은 다음과 같습니다: (1) 기존 방법들이 각 위치 간의 자기 유사성을 독립적으로 측정하는 것과 달리, 제안된 비국소적 모듈은 딥 네트워크와 유연하게 통합되어 전체적인 학습 과정에서 각 위치와 그 이웃 간의 깊은 특징 상관 관계를 포착할 수 있습니다. (2) 파라미터 효율성이 뛰어난 RNN 구조를 충분히 활용하여, 깊은 특징 상관 관계가 인접한 순환 상태를 따라 전파될 수 있도록 설계하였습니다. 이 새로운 설계는 심각하게 훼손된 이미지로 인해 발생할 수 있는 부정확한 상관 관계 추정에 대한 견고성을 향상시킵니다. (3) 훼손된 이미지를 주어졌을 때, 깊은 특징 상관 관계를 계산하기 위해 한정된 이웃을 유지하는 것이 필수적임을 보였습니다. 이는 기존 방식이 전체 이미지를 사용하는 것과 대조됩니다. 이미지 노이즈 제거와 초해상화 작업에 대한 광범위한 실험을 수행하였으며, 재귀적인 비국소적 연산과 상관 관계 전파 덕분에 제안된 NLRN은 훨씬 적은 파라미터로 최신 방법들을 능가하는 결과를 얻었습니다.