시공간 필터 적응 네트워크를 이용한 비디오 디블러링

비디오 디블러링은 카메라 흔들림, 객체 운동, 깊이 변화 등으로 인한 공간적으로 변하는 블러(blur)를 처리해야 하기 때문에 어려운 과제입니다. 기존 방법들은 일반적으로 블러 비디오에서 광학 흐름(optical flow)을 추정하여 연속적인 프레임들을 정렬하거나 블러 커널(blur kernel)을 근사합니다. 그러나 추정된 광학 흐름이 정확하지 않으면 아티팩트(artifact)가 생성되거나 블러를 효과적으로 제거할 수 없습니다. 이러한 별도의 광학 흐름 추정의 한계를 극복하기 위해, 우리는 통합된 프레임 정렬 및 디블러링을 위한 시공간 필터 적응 네트워크(Spatio-Temporal Filter Adaptive Network, STFAN)를 제안합니다. 제안된 STFAN은 이전 프레임의 블러 이미지와 복원 이미지, 그리고 현재 프레임의 블러 이미지를 입력으로 받아, 프레임 정렬과 디블러링을 위한 공간적 필터를 동적으로 생성합니다. 또한, 우리는 새로운 필터 적응 합성곱(Filter Adaptive Convolutional, FAC) 계층을 제안하여 이전 프레임의 디블러링된 특성을 현재 프레임과 정렬하고, 현재 프레임의 특성에서 공간적으로 변하는 블러를 제거합니다. 마지막으로, 두 개의 변환된 특성을 융합하여 명료한 프레임을 복원하는 재구성 네트워크를 개발하였습니다. 벤치마크 데이터셋과 실제 비디오에 대한 양적 및 질적 평가 결과는 제안된 알고리즘이 정확성, 속도 및 모델 크기 측면에서 최신 방법들과 비교해 우수한 성능을 보인다는 것을 입증하였습니다.