
그림자 제거는 그림자 영역 내 이미지 내용을 복원하는 데 목적이 있는 컴퓨터비전 과제이다. 최근 대부분의 그림자 제거 방법은 훈련을 위해 그림자 없는 이미지를 필요로 하지만, ECCV 2020에서 Le와 Samaras는 그림자 없는 이미지를 요구하지 않는 혁신적인 접근법을 제안하였다. 이 방법은 그림자 있는 이미지에서 그림자 있는 영역과 없는 영역을 각각 잘라내어 훈련 샘플로 사용하는 방식이다. 그러나 이러한 비일치된 패치(즉, 그림자 있는 영역과 없는 영역이 쌍으로 구성되지 않은 패치)를 대량으로 구성하는 것은 여전히 수작업이 많고 시간이 많이 소요된다. 본 논문에서는 단지 그림자 이미지와 그에 해당하는 그림자 마스크만을 사용하여 약한 지도 신호를 활용하는 새로운 G2R-ShadowNet을 제안한다. 제안된 G2R-ShadowNet은 그림자 생성, 그림자 제거, 보정을 담당하는 세 개의 하위 네트워크로 구성되며, 이들은 엔드 투 엔드(end-to-end) 방식으로 공동으로 훈련된다. 특히, 그림자 생성 하위 네트워크는 그림자 없는 영역을 그림자 있는 영역의 스타일로 변환함으로써 그림자 제거 하위 네트워크를 훈련하기 위한 쌍(페어) 데이터를 생성한다. ISTD 데이터셋과 Video Shadow Removal 데이터셋에서 실시한 광범위한 실험 결과, 제안하는 G2R-ShadowNet은 현재 최고 수준의 기법들과 경쟁 가능한 성능을 달성하였으며, Le와 Samaras의 패치 기반 그림자 제거 방법보다도 우수한 성능을 보였다.