그룹화된 공간-시간 시프트를 활용한 영상 복원을 위한 단순 기준선

비디오 복원은 품질 저하된 비디오에서 선명한 프레임을 복원하는 것을 목표로 하며, 다양한 중요한 응용 분야를 가지고 있다. 비디오 복원의 핵심은 프레임 간 정보를 효과적으로 활용하는 데 있다. 그러나 기존의 딥러닝 기법들은 광학 흐름 추정, 왜곡 가능한 컨볼루션, 프레임 간 자기주의(self-attention) 레이어와 같은 복잡한 네트워크 아키텍처에 의존하는 경우가 많아 계산 비용이 높은 문제가 있다. 본 연구에서는 비디오 복원을 위한 간단하면서도 효과적인 프레임워크를 제안한다. 제안하는 방법은 그룹화된 공간-시간 이동(Grouped Spatial-Temporal Shift) 기반으로, 다중 프레임 집계를 위해 프레임 간 대응 관계를 암묵적으로 포착할 수 있는 경량且 단순한 기법이다. 그룹화된 공간 이동을 도입함으로써 넓은 유효 수용장(Effective Receptive Field)을 확보할 수 있으며, 기본적인 2D 컨볼루션과 결합함으로써 간단한 아키텍처에서도 프레임 간 정보를 효과적으로 집계할 수 있다. 광범위한 실험 결과, 제안한 프레임워크는 이전 최고 성능 기법보다 우수한 성능을 보였으며, 계산 비용은 그의 1/4 미만으로 사용하였다. 이는 비디오 디블러링 및 비디오 노이즈 제거 작업에서 높은 품질의 결과를 유지하면서도 계산 부담을 크게 줄일 수 있음을 시사한다. 코드는 다음 주소에서 제공된다: https://github.com/dasongli1/Shift-Net.