하나의 이미지 초해상도 향상을 위한 통합 주의망

정보적 특징은 단일 이미지 초해상도 재구성 작업에서 핵심적인 역할을 한다. 채널 주의 메커니즘은 각 층에서 정보가 풍부한 특징을 효과적으로 유지하는 데 성공적으로 활용되어 왔다. 그러나 기존의 채널 주의 방식은 각 합성곱 층을 별개의 프로세스로 다루기 때문에, 서로 다른 층 간의 상관관계를 고려하지 못한다는 한계가 있다. 이러한 문제를 해결하기 위해, 층, 채널, 위치 간의 전반적인 상호의존성을 모델링할 수 있는 새로운 풀러스 주의 네트워크(Holistic Attention Network, HAN)를 제안한다. 제안된 HAN은 층 주의 모듈(Layer Attention Module, LAM)과 채널-공간 주의 모듈(Channel-Spatial Attention Module, CSAM)로 구성된다. 특히, LAM은 층 간의 상관관계를 고려하여 계층적인 특징을 적응적으로 강조한다. 한편, CSAM은 각 채널의 모든 위치에서의 신뢰도(confidence)를 학습하여 더 정보가 풍부한 특징을 선택적으로 추출한다. 광범위한 실험을 통해 제안한 HAN이 최신의 단일 이미지 초해상도 재구성 기법들에 비해 우수한 성능을 보임을 입증하였다.