재귀 구조-세부 정보 네트워크를 활용한 비디오 슈퍼해상도

대부분의 영상 슈퍼리졸루션 방법은 시간적 슬라이딩 윈도우 내 인접 프레임을 활용하여 단일 참조 프레임을 슈퍼리졸루션하는 방식을 채택하고 있으나, 순환 기반 방법에 비해 효율성이 낮다. 본 연구에서는 이전 프레임을 효과적이고 효율적으로 활용하여 현재 프레임을 슈퍼리졸루션하는 새로운 순환 영상 슈퍼리졸루션 방법을 제안한다. 제안된 방법은 입력을 구조(Structure)와 세부 정보(Detail) 성분으로 분할하고, 이를 여러 개의 새로운 이중 흐름 구조-세부 정보 블록으로 구성된 순환 유닛에 공급한다. 또한, 현재 프레임이 은닉 상태(hidden state)로부터 정보를 선택적으로 활용할 수 있도록 해주는 은닉 상태 적응 모듈(hidden state adaptation module)을 도입하여 외형 변화와 오차 누적에 대한 강건성을 향상시켰다. 광범위한 아블레이션(Ablation) 실험을 통해 제안된 모듈들의 효과를 검증하였으며, 여러 벤치마크 데이터셋에서의 실험 결과는 기존 최고 수준의 방법들과 비교하여 제안 방법이 우수한 성능을 보임을 입증하였다.