변형 가능한 3D 컨볼루션을 활용한 비디오 슈퍼해상도

비디오 시퀀스 간의 공간-시간 정보는 비디오 초해상도 재구성(SR)에 있어 매우 중요한 요소이다. 그러나 기존의 비디오 SR 기법은 공간 특징 추출과 시간적 운동 보정을 일반적으로 순차적으로 수행하기 때문에, 공간-시간 정보를 충분히 활용하지 못하고 있다. 본 논문에서는 공간적 및 시간적 차원에서 공간-시간 정보를 통합하기 위해 변형 가능한 3차원 컨볼루션 네트워크(D3Dnet)를 제안한다. 구체적으로, 변형 가능한 3차원 컨볼루션(D3D)을 도입하여 변형 가능한 컨볼루션과 3차원 컨볼루션을 결합함으로써 우수한 공간-시간 모델링 능력과 운동 인지형 모델링의 유연성을 동시에 확보한다. 광범위한 실험을 통해 D3D가 공간-시간 정보를 효과적으로 활용함을 입증하였으며, 비교 결과 본 네트워크가 최신 기술 수준의 SR 성능을 달성함을 확인하였다. 코드는 다음 주소에서 제공된다: https://github.com/XinyiYing/D3Dnet.