MCW-Net: 다중 수준 연결과 넓은 지역 비국소 블록을 활용한 단일 이미지 강우 제거

최근 컨볼루션 신경망 기반의 연구들은 비줄기(rain streaks)를 효과적으로 포착하는 데 성공했다. 그러나 세부적인 복원 문제는 여전히 남아 있다. 본 논문에서는 비가 내리는 이미지에서 원래의 배경 텍스처를 적절히 복원하기 위해 다중 레벨 연결과 광역 비국소 블록을 통합한 네트워크(MCW-Net)를 제안한다. 기존의 인코더-디코더 기반 이미지 비제거 모델들이 추가 브랜치를 통해 성능을 향상시키는 방식과 달리, MCW-Net은 추가적인 브랜치 없이 정보 활용 효율을 극대화함으로써 성능을 향상시킨다. 이를 위해 다음과 같은 두 가지 새로운 방법을 제안한다. 첫 번째는 다중 레벨 연결(multi-level connection) 기법으로, 인코더 네트워크의 다중 레벨 특징을 디코더 네트워크에 반복적으로 연결한다. 이 기법은 디코딩 과정에서 모든 레벨의 특징 정보를 효과적으로 활용하도록 유도한다. 다중 레벨 연결에서는 각 레벨의 특징이 현재 레벨의 디코딩 과정에서 얼마나 중요한지를 학습하기 위해 채널별 주의 메커니즘(channel-wise attention)을 고려한다. 두 번째는 광역 비국소 블록(wide regional non-local block) 기법이다. 비줄기가 주로 수직 방향으로 분포하기 때문에, 이미지의 격자를 수평적으로 넓은 패치로 분할하고, 각 영역에 비국소 연산을 적용하여 비가 없는 배경 정보를 풍부하게 탐색한다. 합성 및 실제 세계의 비가 내리는 데이터셋에 대한 실험 결과는 제안된 모델이 기존 최첨단 모델들보다 뚜렷하게 우수함을 보여준다. 또한, 비제거와 세그멘테이션을 동시에 수행하는 실험 결과를 통해 본 모델이 다른 시각 작업에 효과적으로 기여함을 입증한다.