비디오 디블러어링을 위한 플로우 가이드드 스파스 트랜스포머

시공간적 이웃 영역 내에서 유사하고 더 선명한 장면 패치를 활용하는 것은 영상 흐림 제거에 있어 핵심적인 요소이다. 그러나 기존의 CNN 기반 방법은 장거리 의존성과 비국소적 자기유사성 모델링을 효과적으로 포착하지 못하는 한계를 가지고 있다. 본 논문에서는 영상 흐림 제거를 위한 새로운 프레임워크인 흐름 지도형 희소 트랜스포머(Flow-Guided Sparse Transformer, FGST)를 제안한다. FGST에서는 각 블러된 기준 프레임의 $query$ 요소에 대해, 추정된 광학 흐름(optical flow)을 기반으로 이웃 프레임 내 동일한 장면 패치에 대응하는 공간적으로 희소하지만 높은 관련성을 지닌 $key$ 요소를 전역적으로 샘플링할 수 있는, 흐름 지도형 희소 윈도우 기반 다중 헤드 자기주의 모듈(FGSG-MSA)을 특화하였다. 또한, 과거 프레임으로부터 정보를 전달하고 장거리 시계열 의존성을 강화하기 위해 순환 임베딩(Recurrent Embedding, RE) 메커니즘을 제안한다. 광범위한 실험 결과는 제안하는 FGST가 DVD 및 GOPRO 데이터셋에서 최신 기술(SOTA) 방법들을 초월함은 물론, 실제 영상 흐림 제거 상황에서도 더 매력적인 시각적 결과를 제공함을 입증하였다. 코드와 사전 학습된 모델은 공개적으로 https://github.com/linjing7/VR-Baseline 에서 제공된다.