다중 단계 진행형 이미지 복원

이미지 복원 작업은 이미지를 복구하는 과정에서 공간적 세부 정보와 고수준의 문맥 정보 사이에 복잡한 균형을 유지해야 하는 요구사항을 수반한다. 본 논문에서는 이러한 상충되는 목표를 최적의 균형으로 달성할 수 있는 새로운 상호보완적 설계를 제안한다. 본 연구의 주요 제안은 저화질 입력에 대한 복원 기능을 단계적으로 학습하는 다단계 아키텍처이다. 이를 통해 전반적인 복원 과정을 더 다룰 수 있는 단계들로 분해한다. 구체적으로, 모델은 먼저 인코더-디코더 아키텍처를 활용하여 문맥 정보를 학습한 후, 국소 정보를 유지하는 고해상도 브랜치와 이를 결합한다. 각 단계에서, 현장에서의 감독된 주의 메커니즘을 활용하여 국소 특징을 재가중하는 새로운 픽셀 단위 적응형 설계를 도입한다. 이러한 다단계 아키텍처의 핵심 요소는 서로 다른 단계 간의 정보 교환이다. 이를 위해 정보 교환을 조기 단계에서 말기 단계로 순차적으로 진행하는 것뿐만 아니라, 특징 처리 블록 간의 수평적 연결도 존재하여 정보 손실을 방지하는 이중적 접근 방식을 제안한다. 결과적으로, 강력하게 상호 연결된 다단계 아키텍처인 MPRNet은 이미지 빗줄기 제거, 흐림 제거, 노이즈 제거 등 다양한 작업에 걸쳐 10개의 데이터셋에서 뛰어난 성능 향상을 보였다. 소스 코드 및 사전 학습된 모델은 https://github.com/swz30/MPRNet에서 제공된다.