주의 기반 백프로젝션 네트워크를 통한 이미지 슈퍼리졸루션

딥러닝 기반 이미지 초해상도 복원(SR) 기술은 대량의 데이터 처리 능력 덕분에 빠른 발전을 보이고 있다. 일반적으로 더 깊고 넓은 네트워크는 풍부한 특징 맵을 추출할 수 있으며, 뛰어난 품질의 초해상도 이미지를 생성할 수 있다. 그러나 네트워크가 복잡해질수록 실제 응용 시의 시간 소모도 증가하게 된다. 따라서 효율적인 이미지 초해상도 복원을 위해서는 단순화된 네트워크 구조가 필수적이다. 본 논문에서는 이미지 초해상도 복원을 위한 주의 기반 역프로젝션 네트워크(Attention-based Back Projection Network, ABPN)를 제안한다. 최근의 일부 연구와 유사하게, 우리는 역프로젝션 메커니즘이 초해상도 복원에 더 발전될 수 있다고 판단한다. 이를 위해 저해상도 및 고해상도 특징 잔차를 반복적으로 업데이트할 수 있도록 개선된 역프로젝션 블록을 제안한다. 최근 주의 모델에 대한 연구들을 영감으로 삼아, 서로 다른 계층의 특징 간 상관관계를 학습할 수 있는 공간 주의 블록(Spatial Attention Block, SAB)을 제안한다. 또한, 좋은 초해상도 이미지는 다운샘플링 후 원래 저해상도 이미지와 유사해야 한다는 가정 아래, 최종 재구성용 개선된 역프로젝션 블록(Refined Back Projection Block, RBPB)을 제안한다. 공개된 데이터셋 및 AIM2019 이미지 초해상도 복원 챌린지 데이터셋을 대상으로 수행한 광범위한 실험 결과, 제안하는 ABPN이 정량적 및 정성적 측면에서 기존 최고 수준의 성능을 넘어서는 결과를 제공함을 확인하였다.