고품질 실제 비 데이터셋을 이용한 공간 주의 단일 이미지 비 제거

단일 이미지에서 비줄을 제거하는 문제는 비줄이 이미지 품질을 크게 저하시키고 기존의 실외 시각 작업의 성능에 영향을 미치기 때문에 상당한 주목을 받고 있습니다. 최근에 CNN 기반의 비제거 방법들이 유망한 성능을 보고했지만, 두 가지 이유로 인해 비제거는 여전히 해결되지 않은 문제입니다. 첫째, 현재 합성된 비 데이터셋은 실제 비의 특성을 모델링하는 데 있어(예: 비의 형태, 방향, 강도) 현실성이 제한적입니다. 둘째, 실제 비 이미지에 대한 정량적인 비교를 위한 공개 벤치마크가 없어 현재 평가가 객관적이지 않습니다. 이 문제의 핵심 난점은 실제 세계에서 비/비 없는 이미지 쌍을 동시에 캡처할 수 없다는 것입니다. 본 논문에서는 단일 이미지 비제거 문제를 두 가지 방법으로 다룹니다. 첫째, 시간적 사전 정보와 인간 감독을 통합하여 각 입력 실시간 비 이미지 시퀀스에서 고품질의 깨끗한 이미지를 생성하는 반자동 방법을 제안합니다. 이 방법을 사용하여 자연적인 다양한 비 장면을 포함하는 약 29,500개의 비/비 없는 이미지 쌍으로 구성된 대규모 데이터셋을 구축하였습니다. 둘째, 실제 비줄의 확률 분포를 더 잘 포착하기 위해 지역에서 전역으로 비줄을 제거하는 새로운 SPatial Attentive Network (SPANet)를 제안합니다. 광범위한 실험 결과 본 연구팀의 네트워크가 최신의 비제거 방법들보다 우수한 성능을 보임을 입증하였습니다.