그림자 검출과 그림자 제거를 공동으로 학습하는 스택된 조건부 생성적 적대 네트워크

단일 이미지에서 그림자 이해는 이전 연구들에서 그림자 검출과 그림자 제거라는 두 가지 유형의 작업으로 자연스럽게 나뉘어져 왔습니다. 본 논문에서는 이러한 두 작업을 동시에 학습하여 서로에게서 상호적으로 개선된 이점을 누릴 수 있는 엔드투엔드 방식을 제안합니다. 이 접근법은 기존의 어떤 연구에서도 다루지 않았습니다. 우리의 프레임워크는 새로운 STacked Conditional Generative Adversarial Network (ST-CGAN)에 기반하며, 이 네트워크는 각각 생성기와 판별기로 구성된 두 개의 쌓인 CGAN으로 이루어져 있습니다. 구체적으로, 그림자가 포함된 이미지는 첫 번째 생성기에 입력되어 그림자 검출 마스크를 생성합니다. 이 예측된 마스크와 함께 그림자가 포함된 이미지는 두 번째 생성기를 거쳐 그림자가 없는 이미지를 복원하게 됩니다. 또한, 두 개의 대응하는 판별기는 각각 검출된 그림자 영역과 그림자를 제거한 재구성 과정에서 고수준의 관계와 전반적인 장면 특성을 모델링할 가능성이 높습니다. 더욱 중요한 점은, 다중 작업 학습을 위해 우리의 쌓인 패러다임 설계가 일반적으로 사용되는 다중 분기 버전과 명백히 다르다는 것입니다.우리가 제안한 프레임워크의 성능을 충분히 평가하기 위해, 135개의 장면 하에 1870개의 이미지 트리플렛(그림자가 포함된 이미지, 그림자 마스크 이미지, 그리고 그림자가 없는 이미지)으로 구성된 최초의 대규모 벤치마크를 구축했습니다. 광범위한 실험 결과들은 일관되게 ST-CGAN이 공개된 두 개의 대규모 데이터셋과 우리 새로 발표한 데이터셋에서 여러 대표적인 최신 방법론들보다 우월함을 보여주고 있습니다.