그림에서 그림자 제거는 장면 이해에 필수적인 작업이다. 많은 기존 연구들은 이미지 콘텐츠의 일치만을 고려하기 때문에, 그림자 영역 내에서 색상 불일치 또는 그림자 경계에 아티팩트가 발생하는 두 가지 유형의 가짜 이미지(ghost) 문제가 발생한다. 본 논문에서는 이러한 문제를 두 가지 방식으로 해결한다. 첫째, 경계 아티팩트가 없는 이미지를 정교하게 학습하기 위해, 새로운 네트워크 구조인 이중 계층적 특징 집계 네트워크(Dual Hierarchically Aggregation Network, DHAN)를 제안한다. 이 구조는 다운샘플링 없이 성장형 확장 컨볼루션(growth dilated convolutions)을 백본으로 사용하며, 계층적으로 다중 컨텍스트 특징을 주의(attention) 및 예측에 각각 집계한다. 둘째, 제한된 데이터셋에서 학습할 경우 네트워크의 텍스처 이해 능력이 제한되어 그림자 영역의 색상 불일치가 발생한다는 점을 지적한다. 현재까지 가장 큰 데이터셋이라도 2,000개 이상의 그림자 포함/미포함 이미지 쌍을 제공하지만, 동일한 배경을 공유하는 샘플들이 다양한 그림자 위치로 반복되며, 고유한 장면 수는 1,000개 미만에 불과하다. 따라서, 주어진 그림자 마스크와 그림자 없는 이미지로부터 현실적인 그림자 마스킹을 합성할 수 있는 그림자 마스킹 생성 적대형 네트워크(Shadow Matting Generative Adversarial Network, SMGAN)를 설계하였다. 새로운 마스크 또는 장면을 활용하여 합성된 그림자 이미지를 통해 기존 데이터셋의 품질을 향상시켰다. 실험 결과, 제안한 DHAN은 그림자를 효과적으로 제거하고 고해상도의 가짜 이미지가 없는 이미지를 생성함을 확인하였다. 합성 데이터셋과 실제 데이터셋을 함께 학습한 후, 기존 최첨단 방법들에 비해 크게 우수한 성능을 보였다. 코드는 다음과 같이 공개되어 있다: http://github.com/vinthony/ghost-free-shadow-removal/