이중 적대적 네트워크: 현실 세계의 노이즈 제거 및 노이즈 생성을 향하여

실세계 이미지 노이즈 제거는 컴퓨터 비전 분야에서 오랫동안 연구되어 온 중요한 과제이지만, 여전히 매우 도전적인 문제로 남아 있다. 딥 신경망이 노이즈 제거에서 성공을 거두면서, 더 많은 클린-노이즈 이미지 쌍을 합성하여 딥 노이즈 제거기의 학습을 촉진하기 위한 노이즈 생성 기법에 대한 연구가 활발히 진행되고 있다. 본 연구에서는 노이즈 제거와 노이즈 생성을 동시에 처리할 수 있는 새로운 통합 프레임워크를 제안한다. 기존의 MAP(최대사후확률) 프레임워크가 관측된 노이즈 이미지에 조건부한 잠재적 클린 이미지의 사후 분포를 추론하는 데 그치는 것과 달리, 본 연구에서 제안하는 방법은 클린-노이즈 이미지 쌍의 공동 분포를 직접 학습한다. 구체적으로, 공동 분포를 두 가지 다른 인수 분해 형태로 근사하며, 이는 각각 노이즈 이미지를 클린 이미지로 매핑하는 노이즈 제거기(denoiser)와 클린 이미지를 노이즈 이미지로 매핑하는 생성기(generator)로 표현될 수 있다. 학습된 공동 분포는 클린 이미지와 노이즈 이미지 간의 모든 정보를 내재적으로 포함하고 있어, 기존 방법과 달리 수작업으로 이미지 사전 지식이나 노이즈 가정을 정의할 필요가 없다. 또한, 학습된 생성기를 활용하여 원래의 학습 데이터셋을 증강함으로써 노이즈 제거기의 성능을 추가로 향상시킬 수 있다. 더불어, 생성된 노이즈 이미지의 품질을 평가하기 위한 두 가지 새로운 지표를 제안하였으며, 이는 본 연구 분야에서 최초로 제안된 지표로, 지식의 범위 내에서 최초로 등장하는 것이다. 광범위한 실험을 통해 제안된 방법이 실세계 노이즈 제거 및 노이즈 생성 측면에서 기존 최고 수준의 기법들보다 우수함을 입증하였다. 학습 및 테스트 코드는 https://github.com/zsyOAOA/DANet 에 공개되어 있다.