별빛 아래에서 춤추는 것: 별빛 환경에서의 비디오 노이즈 제거

낮은 조도에서의 영상 촬영은 광자 수가 극도로 적기 때문에 매우 도전적인 과제이다. 현재 감도가 높은 CMOS 카메라를 사용하면 달빛 조도(0.05~0.3 루크스) 하에서 야간 동영상을 촬영하는 것이 가능하다. 본 논문에서는 달이 없는 별빛 조도(0.001 루크스 미만) 하에서도 처음으로 사진처럼 사실감 있는 동영상을 구현함을 보여준다. 이를 가능하게 하기 위해, 가장 낮은 조도 수준에서 카메라 노이즈를 더 정확하게 표현할 수 있도록 GAN을 활용한 물리 기반 노이즈 모델을 개발하였다. 이 노이즈 모델을 기반으로 시뮬레이션된 노이즈가 포함된 동영상 클립과 실제 촬영된 노이즈 있는 정지 영상의 조합을 사용하여 동영상 노이즈 제거 모델을 훈련시켰다. 또한 활성 조명 없이 약 0.6~0.7 밀리루크스의 조도에서 상당한 운동을 포함한 5~10fps의 동영상 데이터셋을 촬영하였다. 다른 대안적 방법들과 비교하여, 가장 낮은 조도 조건에서도 개선된 동영상 품질을 달성하였으며, 본 연구는 별빛 조도 하에서 처음으로 사진처럼 사실감 있는 동영상 노이즈 제거 기술을 실현함을 입증한다.