효율적인 ConvNet을 활용한 이미지 흐림 제거 재검토

이미지 흐림 제거는 흐린 이미지로부터 원래의 선명한 이미지를 복원하는 것을 목표로 하며, 컴퓨터 비전 분야에서 광범위한 응용을 가지고 있다. 오랜 기간 동안 컨볼루션 신경망(Convolutional Neural Networks, CNN)은 이 분야에서 뛰어난 성능을 보여왔으나, 최근에는 Transformer라는 대안적인 네트워크 아키텍처가 더 강력한 성능을 보여주고 있다. 이들의 우수성은 다중 헤드 자기주의(Multi-Head Self-Attention, MHSA) 메커니즘에 기인한다. MHSA는 CNN보다 더 넓은 수용 영역(effective receptive field, ERF)과 더 뛰어난 입력 콘텐츠 적응성을 제공하기 때문이다. 그러나 MHSA는 입력 해상도에 따라 계산 비용이 제곱적으로 증가하므로, 고해상도 이미지 흐림 제거 작업에는 실용성이 떨어진다. 본 연구에서는 높은 효율적인 ERF를 갖추고 있으며, Transformer와 비슷하거나 더 나은 성능을 달성하면서도 낮은 계산 비용을 지닌 통합형 경량 CNN 네트워크를 제안한다. 우리의 핵심 설계는 대규모 커널의 깊이 있는 컨볼루션과 공간-채널 혼합 구조를 갖춘 효율적인 CNN 블록인 LaKD이다. 이는 Transformer와 비슷하거나 더 넓은 ERF를 달성하면서도 파라미터 수가 작다. 구체적으로, 초점 왜곡 및 운동 흐림 기준 데이터셋에서 최신 기술인 Restormer 대비 각각 +0.17dB, +0.43dB의 PSNR 향상을 달성하였으며, 파라미터 수는 32% 감소하고, MACs는 39% 감소하였다. 광범위한 실험을 통해 제안된 네트워크의 우수한 성능과 각 모듈의 효과성을 입증하였다. 또한, ERF를 정량적으로 특성화할 수 있는 간결하고 직관적인 ERFMeter 지표를 제안하였으며, 이 지표는 네트워크 성능과 높은 상관관계를 보였다. 본 연구가 이미지 흐림 제거를 넘어서 CNN과 Transformer 아키텍처의 장단점을 탐색하는 연구 공동체에 영감을 주기를 기대한다.