적대적 손실과 기울기 마스크를 활용한 다단계 원시 영상 노이즈 제거

본 논문에서는 저조도 환경에서 촬영된 원시 영상에 대한 노이즈 제거를 위한 학습 기반 접근법을 제안한다. 제안하는 방법은 먼저 인접 프레임들을 현재 프레임에 명시적으로 정렬하기 위해 합성곱 신경망(Convolutional Neural Network, CNN)을 사용하는 것으로 시작한다. 이후, 등록된 프레임들을 다른 CNN을 이용해 융합하여 최종 노이즈 제거 영상을 생성한다. 시간적으로 멀리 떨어진 프레임 간 직접 정렬을 피하기 위해, 정렬과 융합 과정을 다단계로 수행한다. 구체적으로, 각 단계에서 연속된 세 개의 입력 프레임을 대상으로 노이즈 제거를 수행하여 중간 단계의 노이즈 제거된 프레임을 생성하고, 이를 다음 단계의 입력으로 전달한다. 다단계 처리를 통해 시간적으로 멀리 떨어진 프레임의 정보를 직접 정렬하지 않고도 효과적으로 활용할 수 있다. 본 연구에서는 조건부 판별자(conditional discriminator)를 사용한 적대적 손실(adversarial loss)을 통해 다단계 시스템을 학습한다. 특히, 매끄러운 영역에서 고주파 아티팩트가 발생하지 않도록 판별자를 소프트 그라디언트 마스크(soft gradient mask)로 조건화한다. 실험을 통해 제안한 시스템이 실감 나는 세부 정보를 갖춘 시간적으로 일관된 영상을 생성할 수 있음을 보이며, 광범위한 실험을 통해 기존 최첨단 이미지 및 영상 노이즈 제거 기법과 비교하여 수치적 및 시각적으로 우수한 성능을 입증한다.