비지도 딥 비디오 노이즈 제거

비디오 노이즈 제거를 위한 깊은 합성곱 신경망(CNN)은 일반적으로 정제된 비디오가 존재한다고 가정하며, 감독 학습 방식으로 훈련된다. 그러나 현미경 촬영과 같은 많은 응용 분야에서는 노이즈가 없는 비디오 데이터를 확보할 수 없다. 이를 해결하기 위해, 우리는 단지 노이즈가 포함된 데이터로만 훈련이 가능한 비지도 학습 기반의 깊은 비디오 노이즈 제거기(UDVD, Unsupervised Deep Video Denoiser)를 제안한다. UDVD는 단일 짧은 노이즈 비디오만으로도 훈련되어도 감독 학습 기반 최첨단 기술과 유사한 성능을 보이며, 실제 이미징 응용 분야에서 원시 비디오, 형광 현미경 및 전자현미경 데이터의 노이즈 제거에 효과적인 가능성을 입증한다. 기존의 많은 비디오 노이즈 제거 기법들과 달리, UDVD는 명시적인 운동 보정(motion compensation)을 필요로 하지 않는다. 이는 운동 보정이 계산적으로 비용이 크며, 입력 데이터 자체가 노이즈가 많을 경우 신뢰성이 떨어질 수 있기 때문에 큰 장점이다. 기울기 기반 분석을 통해 UDVD가 입력 노이즈 비디오 내의 국소적 운동에 자동으로 적응함을 확인할 수 있다. 즉, 단지 노이즈 제거를 위한 훈련만을 받았음에도 불구하고, 네트워크는 암묵적인 운동 보정을 학습하게 된다.