
최근 딥러닝 기술은 극한 저조도 영상 처리에 놀라운 성과를 거두며 주목받고 있다. 단일 이미지 처리에서는 성공을 거두었지만, 동적 장면에서의 극한 저조도 영상 처리는 실제 레이어(ground truth)를 갖춘 원시 영상 데이터를 수집하기 어려운 문제로 인해 여전히 해결되지 않은 과제로 남아 있다. 단일 이미지 처리에서 사용된 장노출(장시간 노출)의 실제 레이어를 동적 장면에 적용하는 것은 현실적으로 불가능하다. 본 논문에서는 약 1 룩스(lux) 수준의 극도로 어두운 원시 영상 영상에 대한 딥러닝 기반 처리 기법을 제안한다. 이 연구를 지원하기 위해 고해상도 원시 데이터를 영상 속도로 촬영한 새로운 원시 저조도 영상 데이터셋을 구축하였다. 이와 같은 극저조도 수준에서는 신호 대 잡음비(signal-to-noise ratio)가 매우 낮으며, dB 단위로 측정하면 음수 수준에 이르며, 기존의 이미지 처리 파이프라인은 일반적으로 성능이 붕괴된다. 이러한 도전적인 문제를 해결하기 위해 새로운 처리 방법을 제안한다. 정적 영상에 대해 실제 레이어가 존재하므로 이를 기반으로 학습 가능한 파이프라인을 철저히 설계하고, 시간적 안정성을 유도하기 위한 새로운 손실 함수(loss function)를 도입하여, 시마이즈(Siamese) 네트워크를 정적 원시 영상에 대해 훈련시킨다. 이를 통해 테스트 시 동적 장면 영상에도 일반화할 수 있도록 한다. 실험 결과, 제안된 방법이 버스트 처리(burst processing), 프레임 단위 처리(per-frame processing), 그리고 블라인드 시간 일관성(blind temporal consistency) 측면에서 최신 기술들을 모두 능가함을 입증하였다.