DC-ShadowNet: 단일 이미지에서 강한 그림자와 부드러운 그림자를 제거하는 비지도 도메인 분류기 안내 네트워크

단일 이미지에서 그림자 제거는 일반적으로 여전히 해결되지 않은 문제입니다. 대부분의 기존 학습 기반 방법은 지도 학습을 사용하며, 그림자와 해당하는 비그림자 이미지를 쌍으로 구성한 대량의 데이터가 필요합니다. 최근 제안된 비지도 방법인 Mask-ShadowGAN~\cite{Hu19}은 이 한계를 해결하지만, 이진 마스크를 사용하여 그림자 영역을 표현해야 하므로 부드러운 그림자는 처리할 수 없습니다. 이러한 문제를 해결하기 위해 본 논문에서는 비지도 도메인 분류기 유도 그림자 제거 네트워크, DC-ShadowNet을 제안합니다. 구체적으로, 그림자/비그림자 도메인 분류기를 생성기와 판별기에 통합하여 그림자 영역에 집중할 수 있도록 합니다. 우리의 네트워크를 훈련시키기 위해 물리학적 비그림자 색상, 그림자에 강한 인식 특성, 경계 부드러움 등을 기반으로 하는 새로운 손실 함수들을 소개합니다. 또한, 우리의 비지도 네트워크가 테스트 시간 동안 추가 훈련(test-time training)을 통해 결과를 더욱 개선할 수 있음을 보여줍니다. 실험 결과, 이러한 모든 새로운 구성 요소들이 우리의 방법이 부드러운 그림자를 처리하고, 양적 및 질적으로 기존 최신의 그림자 제거 방법보다 더 우수한 성능을 발휘함을 확인하였습니다. 우리의 코드는 다음과 같은 주소에서 제공됩니다: \url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}.