초록
영상 디블러링 기법의 핵심 성공 요인은 중간 프레임의 흐린 픽셀을 인접한 영상 프레임의 선명한 픽셀로 보완하는 데 있다. 따라서 주류 기법들은 추정된 광학 흐름(optical flow)을 기반으로 인접 프레임을 정렬한 후, 정렬된 프레임을 융합하여 복원한다. 그러나 이러한 기법들은 픽셀의 흐림 수준(blur level)을 거의 고려하지 않기 때문에 때때로 만족스럽지 않은 결과를 초래할 수 있으며, 이는 영상 프레임에서 흐린 픽셀이 도입되는 원인이 된다. 실제로 영상 프레임 내 모든 픽셀이 선명하거나 디블러링에 유리한 것은 아니다. 이 문제를 해결하기 위해 본 연구에서는 영상 프레임의 픽셀 단위 흐림 수준을 고려하여 선명한 픽셀 정보를 효과적으로 추출하는 공간-시간 변형 주의망(Spatio-Temporal Deformable Attention Network, STDANet)을 제안한다. 구체적으로, STDANet는 모션 추정기(motion estimator)와 공간-시간 변형 주의(STDA) 모듈을 통합한 인코더-디코더 구조의 네트워크로 구성되며, 모션 추정기는 거친 광학 흐름을 예측하여 STDA 모듈 내에서 대응하는 선명한 픽셀을 찾는 기준 오프셋으로 활용한다. 실험 결과, 제안한 STDANet는 GoPro, DVD, BSD 데이터셋에서 최신 기법들과 비교해 우수한 성능을 보였다.