17일 전

크로스스케일 비국소 주의력과 포괄적 자기 예시 채굴을 이용한 이미지 슈퍼해상도

Yiqun Mei, Yuchen Fan, Yuqian Zhou, Lichao Huang, Thomas S. Huang, Humphrey Shi
크로스스케일 비국소 주의력과 포괄적 자기 예시 채굴을 이용한 이미지 슈퍼해상도
초록

딥 컨볼루션 기반 단일 이미지 초해상도 복원(SISR) 네트워크는 대규모 외부 이미지 자원으로부터 로컬 복원을 학습하는 이점을 지니고 있으나, 기존 대부분의 연구들은 자연 이미지 내 장거리 특징 간 유사성에 주목하지 못했다. 최근 일부 연구에서는 비국소적 주의(attention) 모듈을 탐색함으로써 이러한 내재된 특징 상관관계를 성공적으로 활용하였다. 그러나 현재까지의 심층 모델 중 하나도 이미지의 또 다른 내재적 특성인 크로스-스케일(Cross-Scale) 특징 상관관계를 탐구한 사례는 없었다. 본 논문에서는 반복 신경망(recurrent neural network)에 통합된 최초의 크로스-스케일 비국소(CS-NL) 주의 모듈을 제안한다. 새로운 CS-NL 사전 지식을 로컬 및 동일 스케일 내 비국소 사전 지식과 결합하여, 단일 저해상도(LR) 이미지 내에서 보다 풍부한 크로스-스케일 특징 상관관계를 탐지할 수 있다. 모든 가능한 사전 지식을 철저히 통합함으로써 SISR 성능이 크게 향상된다. 광범위한 실험을 통해 제안된 CS-NL 모듈의 효과성을 입증하였으며, 여러 SISR 벤치마크에서 새로운 최고 성능(state-of-the-art)을 달성하였다.

크로스스케일 비국소 주의력과 포괄적 자기 예시 채굴을 이용한 이미지 슈퍼해상도 | 최신 연구 논문 | HyperAI초신경