산형 단일 스테이지 네트워크를 이용한 정확한 이미지 복원

이미지 복원은 흐린 입력 이미지나 비가 내린 이미지 등에서 고품질 이미지를 얻는 작업으로, 블러 제거와 비 제거 등을 포함합니다. 이미지 복원에서는 공간적 세부 정보와 문맥 정보 사이의 복잡한 균형을 유지하는 것이 일반적으로 필요합니다. 다단계 네트워크는 이러한 경쟁적인 목표를 최적으로 균형 잡고 상당한 성능을 달성할 수 있지만, 이로 인해 시스템의 복잡성이 증가하게 됩니다. 본 논문에서는 간단한 U-Net 구조를 기반으로 한 산형 단일 단계 설계를 제안하며, 불필요한 비선형 활성화 함수를 제거하거나 대체하여 낮은 시스템 복잡도로 위의 균형을 이루는 방법을 소개합니다. 특히, 인코더-디코더 구조 수준 간의 정보 교환 구성 요소로서 특징 융합 미들웨어(Feature Fusion Middleware, FFM) 메커니즘을 제안합니다. 이 메커니즘은 상위 계층의 정보를 하위 계층에 원활하게 통합하여 가장 낮은 계층까지 순차적으로 전달합니다. 마지막으로 모든 정보가 원래 이미지 해상도 조작 수준에서 융합되어 공간적 세부 정보를 보존하고 문맥 정보를 통합하여 고품질 이미지 복원을 보장합니다. 또한, 인코더와 디코더 사이의 다중 헤드 어텐션 미들 블록(Multi-Head Attention Middle Block, MHAMB)을 제안하여 더 많은 전역 정보를 포착하고 CNNs의 수용 필드 제약을 초월할 수 있도록 합니다. 광범위한 실험 결과, M3SNet이라고 명명된 우리의 접근 방식이 여러 이미지 복원 작업(예: 비 제거 및 블러 제거)에서 이전 최신 모델들을 능가하면서도 연산 비용을 절반 미만으로 줄였음을 입증하였습니다.