DualDn: 미분 가능 ISP를 통한 이중 도메인 노이즈 제거

이미지 노이즈 제거는 카메라의 이미지 신호 처리(Image Signal Processing, ISP) 파이프라인에서 핵심적인 구성 요소이다. 일반적으로 노이즈 제거 모듈을 ISP 파이프라인에 통합하는 두 가지 전형적인 방식이 있다. 하나는 캡처된 원시(raw) 프레임에 직접 노이즈 제거기를 적용하는 방식(원시 도메인)이고, 다른 하나는 ISP의 출력인 sRGB 이미지에 노이즈 제거를 적용하는 방식(sRGB 도메인)이다. 그러나 두 가지 접근 방식 모두 각각의 한계를 가지고 있다. 원시 도메인에서의 노이즈 제거는 잔여 노이즈를 발생시키며, 이후의 ISP 처리 과정에서 이 노이즈가 증폭될 수 있다. 반면 sRGB 도메인에서는 공간적으로 변하는 노이즈를 효과적으로 다루기 어려운데, 이는 sRGB 이미지가 이미 ISP에 의해 왜곡된 노이즈만을 관측하기 때문이다. 결과적으로, 대부분의 원시 또는 sRGB 도메인 기반 노이즈 제거 기법은 특정한 노이즈 분포와 ISP 구성에만 적합하다.이러한 문제를 해결하기 위해, 본 연구에서는 새로운 학습 기반의 이중 도메인 노이즈 제거 기법인 DualDn을 제안한다. 기존의 단일 도메인 노이즈 제거와 달리, DualDn은 원시 도메인과 sRGB 도메인 각각에 하나씩 총 두 개의 노이즈 제거 네트워크를 포함한다. 원시 도메인의 노이즈 제거는 센서 특유의 노이즈와 공간적으로 변화하는 노이즈 수준에 적응할 수 있으며, sRGB 도메인의 노이즈 제거는 ISP의 변동에 적응하여 ISP에 의해 증폭된 잔여 노이즈를 제거한다. 두 노이즈 제거 네트워크는 미분 가능한 ISP와 연결되어 있으며, 이는 엔드 투 엔드로 훈련되며 추론 단계에서는 제거된다. 이러한 설계 덕분에 DualDn은 대부분의 학습 기반 노이즈 제거 기법보다 더 뛰어난 일반화 능력을 갖추게 되었으며, 미리 경험하지 못한 노이즈 유형, 다양한 ISP 파라미터, 심지어 새로운 ISP 파이프라인에도 적응할 수 있다.실험 결과, DualDn은 최신 기술 수준(SOTA)의 성능을 달성하며, 다양한 노이즈 제거 아키텍처에 유연하게 적용 가능함을 입증하였다. 또한 DualDn은 재훈련 없이 실제 카메라에 즉시 적용 가능한 플러그 앤 플레이(Plug-and-Play) 형태의 노이즈 제거 모듈로 활용할 수 있으며, 상용 카메라 내장 노이즈 제거 기능보다 더 뛰어난 성능을 보여준다. 프로젝트 웹사이트는 아래 링크에서 확인할 수 있다: https://openimaginglab.github.io/DualDn/