단일 이미지 강우 제거를 위한 다중 스케일 프로그레시브 융합 네트워크

공기 중의 비줄기 는 카메라로부터의 거리 차이에 따라 다양한 흐림 정도와 해상도로 나타난다. 비 이미지 내에서와 그 다중 스케일(또는 다중 해상도) 버전에서 유사한 비줄기 패턴이 관찰되며, 이는 이러한 보완적 정보를 활용하여 비줄기 표현을 가능하게 한다. 본 연구에서는 단일 이미지의 비줄기 제거를 위해, 입력 이미지의 스케일과 계층적 딥 특징의 관점에서 다중 스케일 협업 표현을 통합된 프레임워크 내에서 탐구한다. 이를 위해 다중 스케일 진행형 융합 네트워크(Multi-scale Progressive Fusion Network, MSPFN)를 제안한다. 서로 다른 위치에 존재하는 유사한 비줄기 패턴에 대해, 순환 계산을 활용하여 전역 텍스처를 포착함으로써 공간 차원에서 보완적이고 중복된 정보를 탐색하여 대상 비줄기를 특성화할 수 있다. 또한, 다중 스케일 피라미드 구조를 구축하고, 다양한 스케일에서의 관련 정보를 정교하게 융합할 수 있도록 주의 메커니즘(attention mechanism)을 도입한다. 이 다중 스케일 진행형 융합 전략은 협업 표현을 촉진할 뿐만 아니라 엔드 투 엔드 학습을 더욱 효율적으로 지원한다. 제안된 방법은 여러 벤치마크 데이터셋에서 광범위하게 평가되었으며, 최첨단 성능을 달성하였다. 더불어, 동시 다중 작업인 비 제거, 탐지, 세그멘테이션 실험을 수행하여, 시각 작업 지향 이미지 비 제거라는 새로운 연구 방향을 제시하였다. 소스 코드는 \url{https://github.com/kuihua/MSPFN}에서 제공된다.