NightRain: 야간 비 제거를 위한 적응형 비 제거 및 적응형 보정

기존의 밤 시간 비 제거를 위한 딥러닝 기반 방법들은 실제 세계의 짝을 이루는 데이터 부족으로 인해 합성 데이터에 의존하고 있습니다. 그러나 실제 세계의 복잡성, 특히 빛 효과와 노이즈로 인한 저조도 영역의 존재는 큰 도메인 간극을 만들어 내어, 합성 데이터로 훈련된 모델이 비 줄무늬를 제대로 제거하는 것을 방해하고 과다 포화 및 색상 변동을 초래합니다. 이에 대한 동기를 바탕으로, 우리는 새로운 밤 시간 비 제거 방법인 NightRain을 소개합니다. 이 방법은 적응형 비 제거(adaptive-rain-removal)와 적응형 보정(adaptive-correction)을 포함합니다.우리의 적응형 비 제거는 라벨이 붙지 않은 비 영상을 사용하여 모델이 실제 세계의 비 영상에서 특히 복잡한 빛 효과가 미치는 지역에서 비를 제거할 수 있도록 합니다. 이 아이디어는 모델이 신뢰도 점수를 기반으로 비가 없는 지역을 얻도록 하는 것입니다. 이렇게 하면 비가 없는 지역과 입력 영상에서 해당 지역을 얻어 지역별 짝을 이루는 실제 데이터를 생성할 수 있습니다. 이러한 짝을 이루는 데이터는 선생-학생 프레임워크를 사용하여 모델을 훈련시키는데 활용되며, 이 프레임워크를 통해 모델은 덜 어려운 지역부터 더 어려운 지역까지 단계적으로 학습하게 됩니다.우리의 적응형 보정은 모델 예측에서 발생하는 과다 포화 및 색상 변동 등의 오류를 수정하는 것을 목표로 합니다. 이 아이디어는 입력 영상과 해당 예측 사이의 차이나 거리를 기반으로 명확한 밤 시간 입력 훈련 영상에서 학습하는 것입니다. 모델은 이러한 차이나 거리로부터 학습하여 오류를 수정하도록 강제됩니다.광범위한 실험 결과, 우리의 방법은 최고 수준의 성능을 보여주었습니다. PSNR 26.73dB를 달성하며, 기존 밤 시간 비 제거 방법들보다 13.7%나 크게 우월한 성능을 나타냈습니다.