메모리 강화 비국소 주의 메커니즘을 활용한 비디오 초해상도 재생성

본 논문에서는 저해상도(LR) 동영상에서 고해상도(HR) 동영상을 생성하는 새로운 비디오 초해상화 방법을 제안합니다. 기존의 방법들은 주로 시간적 이웃 프레임을 활용하여 현재 프레임의 초해상화를 지원하였습니다. 이러한 방법들은 공간적 프레임 정렬의 어려움과 유사한 LR 이웃 프레임으로부터 유용한 정보 부족 문제로 인해 성능이 제한적이었습니다. 반면에, 우리는 프레임 정렬 없이 비디오 초해상화를 수행할 수 있는 크로스-프레임 비국소 주의 메커니즘을 설계하였습니다. 이는 동영상 내 큰 움직임에 대해 더 강건한 결과를 가져옵니다. 또한, 이웃 프레임을 넘어서 정보를 획득하기 위해, 초해상화 훈련 중 일반적인 비디오 세부사항을 기억할 수 있는 새로운 메모리 증강 주의 모듈을 설계하였습니다. 실험 결과, 본 방법은 프레임 정렬 없이 최신 방법들보다 큰 움직임이 포함된 동영상에서 우수한 성능을 보였습니다. 본 연구의 소스 코드는 공개될 예정입니다.