픽셀 수준의 노이즈 인지 적대 학습을 통한 현실적인 노이즈 이미지 생성 학습

기존의 딥러닝 기반 실재 노이즈 제거 방법은 감독 학습을 위해 대량의 노이즈-클리너 이미지 쌍을 필요로 한다. 그러나 실재 노이즈-클리너 데이터셋을 수집하는 것은 매우 비용이 많이 들고 복잡한 과정이다. 이 문제를 완화하기 위해 본 연구에서는 현실적인 노이즈 이미지를 생성하는 방법을 탐구한다. 먼저, 각 실재 노이즈 픽셀을 무작위 변수로 간주하는 간단하면서도 합리적인 노이즈 모델을 제안한다. 이 모델은 노이즈 이미지 생성 문제를 두 가지 하위 문제로 분해한다: 이미지 도메인 정렬과 노이즈 도메인 정렬. 이후, 픽셀 수준의 노이즈 인지 생성적 적대 신경망(Pixel-level Noise-aware Generative Adversarial Network, PNGAN)이라는 새로운 프레임워크를 제안한다. PNGAN은 미리 학습된 실재 노이즈 제거 모델을 활용하여 가짜 노이즈 이미지와 실재 노이즈 이미지를 거의 노이즈가 없는 해 공간으로 매핑함으로써 이미지 도메인 정렬을 수행한다. 동시에, PNGAN은 픽셀 수준의 적대적 학습을 통해 노이즈 도메인 정렬을 실현한다. 또한, 보다 정밀한 노이즈 적합을 위해 생성기로 사용할 수 있는 효율적인 아키텍처인 단순 다중 해상도 네트워크(Simple Multi-scale Network, SMNet)를 제안한다. 정성적 검증 결과, PNGAN으로 생성된 노이즈는 강도와 분포 측면에서 실재 노이즈와 매우 유사함을 확인할 수 있었다. 정량적 실험을 통해 생성된 노이즈 이미지로 훈련된 일련의 노이즈 제거 모델이 네 가지 실재 노이즈 제거 벤치마크에서 최신 기술(SOTA) 성능을 달성함을 입증하였다. 코드 일부, 사전 학습된 모델 및 실험 결과는 https://github.com/caiyuanhao1998/PNGAN에서 공개되어 비교 검증이 가능하다.