초록
깊은 합성곱 네트워크는 이미지 생성 및 복원을 위한 인기 있는 도구가 되었습니다. 일반적으로, 이들의 우수한 성능은 대량의 예제 이미지에서 실제적인 이미지 사전 확률을 학습할 수 있는 능력에 기인한다고 여겨져 왔습니다. 그러나 본 논문에서는 이러한 생성자 네트워크의 구조가 어떤 학습도 이루어지기 전에 많은 저레벨 이미지 통계를 포착하기에 충분하다는 것을 보여줍니다. 이를 위해, 랜덤 초기화된 신경망이 표준 역 문제(예: 노이즈 제거, 초해상화, inpainting)에서 우수한 결과를 얻기 위해 수작업으로 설계된 사전 확률로 사용될 수 있음을 입증합니다. 또한 동일한 사전 확률은 깊은 신경망 표현을 역으로 추적하여 진단하고, 플래시-노플래시 입력 쌍을 기반으로 이미지를 복원하는 데에도 활용될 수 있습니다.본 접근 방식은 다양한 응용 분야뿐만 아니라 표준 생성자 네트워크 아키텍처가 포착하는 귀납 편향(inductive bias)을 강조합니다. 또한 두 가지 매우 인기 있는 이미지 복원 방법론 사이의 간극을 줄입니다: 깊은 합성곱 네트워크를 사용하는 학습 기반 방법과 자기 유사성(self-similarity) 등의 수작업으로 설계된 이미지 사전 확률을 기반으로 하는 비학습 방법입니다. 코드와 부록 자료는 https://dmitryulyanov.github.io/deep_image_prior 에서 확인할 수 있습니다.