물리 기반의 ISO 의존성 센서 노이즈 모델링을 통한 극한 저조도 촬영

딥 신경망은 여러 비전 작업에서 놀라운 성능을 달성하고 있으나, 기존의 학습 기반 방법들은 극한 저조도 환경에서 센서 노이즈를 모델링하는 데 있어 물리 모델 기반 접근법에 크게 뒤처져 있다. 학습 기반 센서 노이즈 모델링의 잠재력을 극대화하기 위해, 본 연구는 전형적인 영상 촬영 과정에서의 노이즈 형성 메커니즘을 분석하고, 물리 모델을 기반으로 한 ISO 의존성 고려의 새로운 센서 노이즈 모델링 방법을 제안한다. 구체적으로, CMOS 카메라 센서의 복잡한 노이즈 특성을 표현하기 위해 정규화 흐름(normalizing flow) 기반의 프레임워크를 구축하였다. 노이즈 모델의 각 구성 요소는 물리 모델의 지침에 따라 특정 유형의 노이즈에 특화되어 설계되었다. 더불어, 기존의 학습 기반 방법들이 완전히 반영하지 못한 ISO 의존성을 노이즈 모델에 포함시켰다. 제안된 노이즈 모델의 학습을 위해, 다양한 ISO 설정을 포함하는 평면 필드(Flat-field) 및 바이어스 프레임과 함께 쌍으로 구성된 노이즈 있는 이미지와 깨끗한 이미지를 포함하는 새로운 데이터셋을 수집하였다. 기존 방법들과 비교하여, 제안된 노이즈 모델은 유연한 구조와 정밀한 모델링 능력을 바탕으로 극한 저조도 환경에서 더 우수한 노이즈 제거 성능을 달성하는 데 기여할 수 있다. 본 연구의 소스 코드와 수집된 데이터셋은 공개될 예정이다.