초록
기존의 영상 슈퍼해상도(SR) 알고리즘은 복원 과정에서 흐림 커널(blur kernel)이 사전에 알려져 있다고 가정하며, 복원 과정에서 흐림 커널을 모델링하지 않는다. 그러나 이 가정은 영상 SR에 있어서 일반적으로 성립하지 않으며, 결과적으로 과도하게 부드러운 슈퍼해상도 이미지가 생성된다. 본 논문에서는 흐림 커널 모델링 기반의 접근 방식을 사용하여 영상 SR 문제를 해결하기 위한 깊은 합성곱 신경망(CNN) 모델을 제안한다. 제안된 깊은 CNN 모델은 운동 흐림 추정 모듈, 운동 추정 모듈, 그리고 잠재 이미지 복원 모듈로 구성된다. 운동 흐림 추정 모듈은 신뢰할 수 있는 흐림 커널을 제공하는 데 사용된다. 추정된 흐림 커널을 바탕으로, 영상 SR의 이미지 형성 모델을 기반으로 한 이미지 디컨볼루션 방법을 개발하여 중간 잠재 이미지를 생성함으로써, 일부 날카로운 이미지 정보를 효과적으로 복원할 수 있다. 그러나 생성된 중간 잠재 이미지에는 아티팩트가 포함될 수 있다. 고품질 이미지를 생성하기 위해, 운동 추정 모듈을 활용하여 인접 프레임의 정보를 탐색하며, 운동 추정을 통해 깊은 CNN 모델의 복원 성능을 개선할 수 있도록 제약을 가한다. 제안된 알고리즘이 더 선명하고 세부 구조가 뚜렷한 이미지를 생성할 수 있음을 보여주며, 광범위한 실험 결과를 통해 최신 기술 대비 우수한 성능을 보임을 입증한다.