17일 전

정보 다중 정제 네트워크를 활용한 경량 이미지 슈퍼해상도

Zheng Hui, Xinbo Gao, Yunchu Yang, Xiumei Wang
정보 다중 정제 네트워크를 활용한 경량 이미지 슈퍼해상도
초록

최근 몇 년간 깊은 합성곱 신경망(Convolutional Neural Network, CNN)을 활용한 단일 이미지 초해상도(Single Image Super-Resolution, SISR) 기법은 놀라운 성과를 거두었다. 깊은 네트워크의 강력한 표현 능력 덕분에, 이전의 다수의 방법들은 저해상도(Low-Resolution, LR) 이미지 패치와 그 고해상도(High-Resolution, HR) 버전 사이의 복잡한 비선형 맵핑을 효과적으로 학습할 수 있었다. 그러나 과도한 합성곱 연산은 초해상도 기술을 저성능 컴퓨팅 장치에 적용하는 데 한계를 초래한다. 또한, 실제 응용에서 임의의 스케일 인자에 대한 초해상도 처리는 중요한 과제이지만, 기존의 접근 방식에서는 잘 해결되지 않았다. 이러한 문제를 해결하기 위해, 계단식 정보 다중 정제 블록(Information Multi-Distillation Block, IMDB)을 구성하여 경량화된 정보 다중 정제 네트워크(Information Multi-Distillation Network, IMDN)를 제안한다. 이 네트워크는 정제(distillation) 및 선택적 융합(fusion) 부분을 포함한다. 구체적으로, 정제 모듈은 계층적인 특징을 단계적으로 추출하고, 융합 모듈은 제안된 대비 인식 채널 주의 메커니즘(contrast-aware channel attention mechanism)을 통해 후보 특징의 중요도를 평가하여 이를 기반으로 특징을 집계한다. 임의의 크기의 실제 이미지를 처리하기 위해, 동일한 잘 훈련된 모델을 사용하여 이미지 패치를 블록 단위로 초해상도화하는 적응형 자르기 전략(Adaptive Cropping Strategy, ACS)을 개발하였다. 광범위한 실험 결과, 제안된 방법은 시각적 품질, 메모리 사용량, 추론 시간 측면에서 최첨단 초해상도 알고리즘들과 비교해 우수한 성능을 보였다. 코드는 \url{https://github.com/Zheng222/IMDN}에서 제공된다.

정보 다중 정제 네트워크를 활용한 경량 이미지 슈퍼해상도 | 최신 연구 논문 | HyperAI초신경