단일 이미지 흐림 제거에서의 거친부터 세밀한 방식 재고하기

거시적에서 미시적 방식(coarse-to-fine)은 단일 이미지 흐림 제거 네트워크의 아키텍처 설계에 널리 사용되어 왔다. 기존의 방법들은 다중 스케일 입력 이미지를 갖는 하위 네트워크를 단계적으로 쌓아 올리며, 하위 네트워크에서 상위 네트워크로 점진적으로 이미지의 선명도를 향상시키는 방식을 취하는데, 이는 필연적으로 높은 계산 비용을 수반한다. 빠르고 정확한 흐림 제거 네트워크 설계를 위해, 본 연구는 거시적에서 미시적 전략을 재검토하고, 다중 입력 다중 출력 U-net(MIMO-UNet)을 제안한다. MIMO-UNet은 세 가지 독특한 특징을 갖는다. 첫째, MIMO-UNet의 단일 인코더는 다중 스케일 입력 이미지를 처리함으로써 학습의 난이도를 완화한다. 둘째, 단일 디코더는 하나의 U자형 네트워크를 활용하여 다중 캐스케이드 U-net의 효과를 모방하면서, 다양한 스케일의 복원된 이미지를 동시에 출력한다. 셋째, 비대칭적 특징 병합(asymmetric feature fusion) 기법을 도입하여 다중 스케일 특징을 효율적으로 통합한다. GoPro 및 RealBlur 데이터셋을 대상으로 실시한 광범위한 실험 결과, 제안된 네트워크는 정확도와 계산 복잡도 측면에서 기존 최첨단 기법들을 모두 능가함을 입증하였다. 연구용으로 사용 가능한 소스 코드는 다음 URL에서 제공된다: https://github.com/chosj95/MIMO-UNet.