CycleISP: 개선된 데이터 합성에 의한 실사 이미지 복원

대규모 데이터셋의 가용성이 딥 컨볼루션 신경망(CNN)의 진정한 잠재력을 발휘하는 데 기여해왔다. 그러나 단일 이미지 노이즈 제거 문제에서는 실제 데이터셋을 수집하는 과정이 허용할 수 없을 정도로 비용이 많이 들고 번거로운 작업이다. 따라서 이미지 노이즈 제거 알고리즘은 주로 추가 백색 가우시안 노이즈(AWGN)라는 일반적인 가정 하에 생성된 합성 데이터를 기반으로 개발되고 평가된다. CNN은 이러한 합성 데이터셋에서는 놀라운 성능을 기록하지만, 최근의 벤치마크 데이터셋 보고에 따르면 실제 카메라 이미지에 적용했을 때는 성능이 떨어진다. 이는 주로 AWGN이 실제 카메라 노이즈를 적절히 모델링하지 못하기 때문이다. 실제 카메라 노이즈는 신호에 의존하며 카메라 이미징 파이프라인에 의해 크게 변형되기 때문이다. 본 논문에서는 전방 및 역방향으로 카메라 이미징 파이프라인을 모델링하는 프레임워크를 제안한다. 이를 통해 RAW 및 sRGB 공간에서 모두 현실적인 이미지 쌍을 임의로 생성할 수 있다. 현실적인 합성 데이터를 기반으로 새로운 이미지 노이즈 제거 네트워크를 훈련함으로써, 실제 카메라 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였다. 본 모델의 파라미터 수는 이전 최고 성능 방법보다 약 5배 적다. 더불어 제안하는 프레임워크가 이미지 노이즈 제거 문제를 넘어, 스테레오 시네마에서의 색상 일치 문제 등에 일반화될 수 있음을 보여주었다. 소스 코드 및 사전 학습된 모델은 https://github.com/swz30/CycleISP 에서 제공된다.