7일 전

양방향 버퍼를 활용한 실시간 스트리밍 영상 노이즈 제거

Chenyang Qi, Junming Chen, Xin Yang, Qifeng Chen
양방향 버퍼를 활용한 실시간 스트리밍 영상 노이즈 제거
초록

비디오 스트림은 저장 비용과 디바이스 메모리 사용을 절감하기 위해 지속적으로 전달된다. 실시간 노이즈 제거 알고리즘은 일반적으로 사용자 장치에서 촬영 및 전송 과정에서 발생하는 노이즈를 제거하기 위해 적용된다. 그러나 슬라이딩 윈도우 기반의 기법은 단일 출력에 대해 다수의 입력 프레임을 처리하는 방식으로 계산 효율성이 낮은 편이다. 최근의 다중 출력 추론 기법들은 병렬 또는 반복적 프레임워크를 통해 양방향 시간 특징을 전파하고 있으나, 클립의 시간적 경계에서 성능 저하가 발생하거나 온라인 추론을 달성할 수 없는 문제가 있다. 본 논문에서는 과거와 미래의 시간적 수용 영역을 모두 갖춘 고정밀 실시간 스트리밍 비디오 노이즈 제거를 실현하기 위해, 양방향 스트리밍 비디오 노이즈 제거(Bidirectional Streaming Video Denoising, BSVD) 프레임워크를 제안한다. MoViNet에서는 온라인 추론을 위한 양방향 시간 특징 융합이 적용되기 어렵다고 여겨졌으나, 본 연구에서는 새로운 양방향 버퍼 블록(Bidirectional Buffer Block)을 BSVD의 핵심 모듈로 도입하여 파이프라인 기반 추론 환경에서 이를 가능하게 했다. 또한 본 방법은 비눈물(Non-blind) 및 눈물(Blind) 비디오 노이즈 제거 모두에 간결하고 유연하게 적용 가능하다. 합성 노이즈와 실제 노이즈 환경에서 다양한 최신 비디오 노이즈 제거 모델과의 정성적 및 정량적 비교를 수행한 결과, 본 방법은 복원 정확도와 실행 시간 측면에서 기존 기법들을 모두 능가함을 확인하였다. 본 연구의 소스 코드는 공개되어 있으며, https://github.com/ChenyangQiQi/BSVD 에서 확인할 수 있다.

양방향 버퍼를 활용한 실시간 스트리밍 영상 노이즈 제거 | 최신 연구 논문 | HyperAI초신경