효율적인 다단계 비디오 노이즈 제거를 위한 순환 공간-시간 융합 기법

최근 몇 년간 딥러닝 기반의 노이즈 제거 기법은 큰 계산 복잡도를 감수하면서도 예전에 없던 뛰어난 성능을 달성해왔다. 본 연구에서는 이러한 복잡도를 극적으로 줄이면서도 성능을 유지하거나 오히려 향상시킬 수 있는 효율적인 다단계 영상 노이즈 제거 알고리즘인 EMVD(Efficient Multi-stage Video Denoising)을 제안한다. 먼저, 영상 내 모든 과거 프레임을 재귀적으로 결합하여 병합 단계(fusion stage)를 수행함으로써 노이즈를 감소시킨다. 다음으로, 병합된 프레임에서 노이즈를 제거하는 제거 단계(denoising stage)를 수행한다. 마지막으로, 노이즈 제거된 프레임에서 손실된 고주파 성분을 복원하는 정밀화 단계(refinement stage)를 거친다. 모든 단계는 학습 가능한 가역적 선형 연산자를 통해 얻은 변환 도메인 표현에서 수행되며, 이는 모델의 정확도를 높이면서도 복잡도를 낮추는 데 기여한다. 최종 출력에 대해 단일 손실 함수만을 사용함으로써 성공적인 수렴이 가능하므로, EMVD는 학습이 비교적 간편하다. 실제 원시(raw) 데이터를 이용한 실험 결과, 복잡도 제약 조건 하에서 EMVD는 기존 최고 수준의 기법들을 능가하며, 복잡도가 수 개의 지수 차수만큼 더 높은 다른 방법들과도 경쟁력 있는 성능을 보였다. 또한 EMVD는 낮은 복잡도와 메모리 요구량을 갖추고 있어, 모바일 기기의 상용 SoC(System on Chip)에서도 실시간 영상 노이즈 제거가 가능하다.