실제 이미지 복원 및 향상을 위한 학습 기반 특징 강화

고해상도 이미지 콘텐츠를 저해상도로 훼손된 버전으로부터 복원하는 것을 목표로 하는 이미지 복원 기술은 감시, 계산 사진학, 의료 영상, 원격 탐사 등 다양한 분야에서 널리 응용되고 있다. 최근 컨볼루션 신경망(Convolutional Neural Networks, CNNs)은 이미지 복원 작업에서 기존의 전통적 접근법에 비해 획기적인 성능 향상을 이루었다. 기존의 CNN 기반 방법들은 일반적으로 전체 해상도 또는 점진적으로 낮은 해상도 표현을 기반으로 동작한다. 전자의 경우 공간적 정밀도는 높지만 맥락 정보에 대한 강건성이 낮은 결과를 도출하는 반면, 후자의 경우 의미론적으로 신뢰할 수 있는 결과는 얻을 수 있지만 공간적 정확도는 낮아진다. 본 논문에서는 네트워크 전체를 통해 공간적으로 정밀한 고해상도 표현을 유지하면서도 낮은 해상도 표현으로부터 강력한 맥락 정보를 획득하는 것을 공동 목표로 하는 새로운 아키텍처를 제안한다. 본 연구의 핵심은 다음과 같은 핵심 요소들을 포함하는 다중 스케일 잔차 블록(Multi-scale Residual Block)이다: (a) 다중 해상도 특징을 추출하기 위한 병렬 다중 해상도 컨볼루션 스트림, (b) 다중 해상도 스트림 간의 정보 교환, (c) 맥락 정보를 포착하기 위한 공간적 및 채널 주의 메커니즘, (d) 주의 기반 다중 스케일 특징 집계. 요약하자면, 본 방법은 다양한 스케일에서의 맥락 정보를 통합한 풍부한 특징을 학습하면서 동시에 고해상도 공간적 세부 정보를 유지한다. 다섯 가지 실제 이미지 벤치마크 데이터셋에 대한 광범위한 실험을 통해, 본 연구에서 제안한 MIRNet이라는 방법이 이미지 노이즈 제거, 초해상도 증강, 이미지 향상 등 다양한 이미지 처리 작업에서 최신 기술 수준(SOTA, State-of-the-art)의 성능을 달성함을 입증하였다. 소스 코드 및 사전 훈련된 모델은 https://github.com/swz30/MIRNet 에서 공개되어 있다.