초록
이미지 합성에서 생성적 적대 네트워크(GANs)의 성공에도 불구하고, 훈련된 GAN 모델을 실제 이미지 처리에 적용하는 것은 여전히 어려움을 겪고 있습니다. 이전 방법들은 일반적으로 역전파 또는 추가적인 인코더를 학습하여 대상 이미지를 잠재 공간으로 되돌리는 방식을 사용했습니다. 그러나, 두 방법 모두에서 얻어진 재구성은 이상적이지 않습니다. 본 연구에서는 다양한 이미지 처리 작업에 효과적인 사전 지식으로 잘 훈련된 GAN을 통합하기 위한 새로운 접근 방식인 mGANprior를 제안합니다. 특히, 우리는 생성자의 일부 중간 계층에서 여러 잠재 코드를 사용하여 여러 특징 맵을 생성한 후, 적응 채널 중요도를 통해 입력 이미지를 복원합니다. 이러한 잠재 공간의 과매개화는 이미지 재구성 품질을 크게 개선하며, 기존 경쟁자들을 능가합니다. 결과적으로 얻어진 고충실도 이미지 재구성이 훈련된 GAN 모델을 사전 지식으로 활용할 수 있게 하여 이미지 색채화, 초해상화, 이미지 보정 및 의미 조작 등 많은 실제 응용 분야에서 활용될 수 있습니다. 또한, 우리는 GAN 모델이 계층별로 학습한 표현의 속성을 분석하고 각 계층이 어떤 지식을 표현할 수 있는지를 밝힙니다.