실시간 단일 이미지 및 비디오 초해상도 생성을 위한 효율적인 서브픽셀 컨볼루셔널 신경망의 활용

최근, 딥 뉴럴 네트워크 기반의 여러 모델이 단일 이미지 초해상화에서 재구성 정확도와 계산 성능 측면에서 큰 성공을 거두었습니다. 이러한 방법들에서는 재구성 전에 일반적으로 이중세제곱 보간법(bicubic interpolation)을 사용하여 저해상도(LR) 입력 이미지를 고해상도(HR) 공간으로 확대합니다. 즉, 초해상화(SR) 작업은 HR 공간에서 수행됩니다. 우리는 이를 비효율적이라고 판단하며 계산 복잡성을 증가시킨다고 주장합니다. 본 논문에서는 단일 K2 GPU에서 1080p 동영상의 실시간 SR을 가능하게 하는 첫 번째 컨벌루션 신경망(CNN)을 제시합니다. 이를 위해 LR 공간에서 특징 맵(feature maps)을 추출하는 새로운 CNN 구조를 제안합니다. 또한, 최종 LR 특징 맵을 HR 출력으로 확대하기 위한 업스케일 필터 배열을 학습하는 효율적인 서브픽셀 컨볼루션 레이어를 도입합니다. 이렇게 함으로써, 우리는 SR 파이프라인에서 수작업으로 만든 이중세제곱 필터를 각 특징 맵에 대해 특별히 훈련된 더 복잡한 업스케일 필터로 대체하면서 전체 SR 작업의 계산 복잡성을 줄입니다. 공개 데이터셋의 이미지와 동영상을 사용하여 제안된 접근 방식을 평가한 결과, 이는 기존의 CNN 기반 방법보다 상당히 우수한 성능(+0.15dB 이미지, +0.39dB 동영상)과 10배 이상 빠른 처리 속도를 보였습니다.