17일 전

로컬-글로벌 융합 네트워크를 통한 비디오 슈퍼리졸루션

{Xinyi Peng, Xianfang Sun, Longcun Jin, Hua Wang, Dewei Su}
초록

비디오 초해상도 증강 기술의 목적은 저해상도(LR) 비디오로부터 고해상도(HR) 비디오를 효과적으로 복원하는 문제를 해결하는 데 있다. 기존의 방법들은 일반적으로 광학 흐름(optical flow)을 활용하여 프레임을 정렬하고, 공간과 시간적 관점에서 프레임워크를 설계하였다. 그러나 광학 흐름 추정이 정확하지 않을 경우가 자주 발생하여 복원 성능이 저하되는 문제가 있었다. 또한, 다양한 비디오 프레임의 특징을 효과적으로 융합하는 방법은 여전히 도전적인 과제로 남아 있다. 본 논문에서는 이러한 문제를 새로운 시각에서 해결하기 위해 국지-전역 융합 네트워크(Local-Global Fusion Network, LGFN)를 제안한다. 광학 흐름의 대안으로, 다중 확장 컨볼루션 단위를 감소시킨 변형 가능 컨볼루션(Deformable Convolutions, DCs)을 활용하여 효율적인 암묵적 정렬을 수행한다. 또한, 국지 융합 모듈(Local Fusion Module, LFM)과 전역 융합 모듈(Global Fusion Module, GFM)로 구성된 이중 분기 구조를 제안하여 두 가지 다른 측면에서 정보를 통합한다. 구체적으로, LFM은 인접한 프레임 간의 관계에 주목하며 시간적 일관성을 유지하는 데 초점을 맞추고, GFM은 비디오 셔플 전략을 통해 모든 관련 특징을 전역적으로 활용하려는 시도를 한다. 제안한 고도화된 네트워크 덕분에, 여러 데이터셋에서의 실험 결과는 LGFN이 최신 기술과 비교하여 경쟁 가능한 성능을 달성할 뿐만 아니라 다양한 종류의 비디오 프레임을 신뢰할 수 있는 방식으로 복원할 수 있음을 보여준다. LGFN의 벤치마크 데이터셋에 대한 결과는 https://github.com/BIOINSu/LGFN 에 게시되었으며, 논문이 수락되는 대로 소스 코드도 공개될 예정이다.

로컬-글로벌 융합 네트워크를 통한 비디오 슈퍼리졸루션 | 최신 연구 논문 | HyperAI초신경