17일 전
크로스스케일 비국소 주의력과 포괄적 자기 예시 채굴을 이용한 이미지 슈퍼해상도
Yiqun Mei, Yuchen Fan, Yuqian Zhou, Lichao Huang, Thomas S. Huang, Humphrey Shi

초록
딥 컨볼루션 기반 단일 이미지 초해상도 복원(SISR) 네트워크는 대규모 외부 이미지 자원으로부터 로컬 복원을 학습하는 이점을 지니고 있으나, 기존 대부분의 연구들은 자연 이미지 내 장거리 특징 간 유사성에 주목하지 못했다. 최근 일부 연구에서는 비국소적 주의(attention) 모듈을 탐색함으로써 이러한 내재된 특징 상관관계를 성공적으로 활용하였다. 그러나 현재까지의 심층 모델 중 하나도 이미지의 또 다른 내재적 특성인 크로스-스케일(Cross-Scale) 특징 상관관계를 탐구한 사례는 없었다. 본 논문에서는 반복 신경망(recurrent neural network)에 통합된 최초의 크로스-스케일 비국소(CS-NL) 주의 모듈을 제안한다. 새로운 CS-NL 사전 지식을 로컬 및 동일 스케일 내 비국소 사전 지식과 결합하여, 단일 저해상도(LR) 이미지 내에서 보다 풍부한 크로스-스케일 특징 상관관계를 탐지할 수 있다. 모든 가능한 사전 지식을 철저히 통합함으로써 SISR 성능이 크게 향상된다. 광범위한 실험을 통해 제안된 CS-NL 모듈의 효과성을 입증하였으며, 여러 SISR 벤치마크에서 새로운 최고 성능(state-of-the-art)을 달성하였다.