Unprocessing Images for Learned Raw Denoising 이미지 언프로세싱을 통한 학습 기반 원시 노이즈 제거

머신 러닝 기술은 학습에 사용된 데이터가 평가에 사용된 데이터와 유사할 때 가장 효과적으로 작동합니다. 이는 실제 원시 카메라 센서 읽기 값에 적용되는 학습된 단일 이미지 노이즈 제거 알고리즘에도 해당되지만, 실용적인 제약 조건으로 인해 종종 합성 이미지 데이터로 학습됩니다. 일반적으로 합성 데이터에서 실제 데이터로의 일반화를 위해 이미지 센서의 노이즈 특성을 신중하게 고려해야 함을 이해하고 있지만, 카메라의 이미지 처리 파이프라인의 다른 측면(게인, 색상 보정, 톤 매핑 등)은 그들의 원시 측정값이 완성된 이미지로 변환되는 과정에 큰 영향을 미치는데도 불구하고 종종 간과됩니다.이 문제를 해결하기 위해, 우리는 이미지 처리 파이프라인의 각 단계를 역으로 수행하여 일반적으로 이용 가능한 인터넷 사진에서 현실적인 원시 센서 측정값을 합성하는 '언프로세싱' 기술을 제시합니다. 또한 손실 함수를 평가할 때 이미지 처리 파이프라인의 관련 구성 요소들을 모델링하여 노이즈 제거 후 발생할 모든 관련 광도학적 처리를 인식하도록 학습을 진행합니다. 이렇게 모델 출력과 학습 데이터를 처리하고 언프로세싱함으로써, 우리는 단순한 컨볼루션 신경망(CNN)을 훈련시키는데 성공하였으며, 이는 Darmstadt 노이즈 데이터셋에서 이전 최고 수준보다 14%-38% 낮은 오류율과 9-18배 더 빠른 속도를 보였습니다. 또한 이 모델은 해당 데이터셋 외의 센서에도 일반화될 수 있습니다.