하늘을 맑게 하기: 단일 이미지 비 제거를 위한 딥 네트워크 아키텍처

우리는 비 줄무늬를 이미지에서 제거하기 위한 딥 네트워크 아키텍처인 DerainNet을 소개합니다. 딥 컨볼루션 신경망(CNN)을 기반으로, 우리는 데이터로부터 비가 오는 이미지와 깨끗한 이미지 세부 계층 간의 매핑 관계를 직접 학습합니다. 실제 비가 오는 이미지에 해당하는 정확한 참조값(ground truth)을 보유하고 있지 않기 때문에, 훈련을 위해 비가 오는 이미지를 합성하여 사용합니다. 다른 일반적인 전략들이 네트워크의 깊이나 폭을 증가시키는 것과 달리, 우리는 이미지 처리 영역 지식을 활용하여 목적 함수(objective function)를 수정하고, 중간 크기의 CNN으로 비 제거 성능을 개선하였습니다. 구체적으로, 우리는 이미지 도메인 대신 세부(고주파) 계층에서 DerainNet을 훈련시킵니다. DerainNet은 합성 데이터로 훈련되었지만, 테스트 단계에서는 실제 세계 이미지에 매우 효과적으로 적용되는 것을 확인할 수 있었습니다. 또한, 시각적 결과를 개선하기 위해 CNN 프레임워크에 이미지 강화(image enhancement) 기법을 추가하였습니다. 최신 단일 이미지 비 제거 방법들과 비교했을 때, 우리의 방법은 비 제거 성능이 우수하며 네트워크 훈련 후에는 더욱 빠른 계산 시간을 제공합니다.