단일 이미지 그림자 제거를 위한 자동 노출 융합

그림자 제거는 그 자체가 배경에 의존적이고 공간적으로 변동하는 특성을 가지고 있어, 알려지지 않고 다양한 그림자 패턴을 생성하기 때문에 여전히 어려운 과제입니다. 심지어 최신의 강력한 딥 뉴럴 네트워크더라도 흔적이 없는 그림자 제거된 배경을 복원하는 것이 거의 불가능합니다. 본 논문에서는 이 문제를 노출 융합 문제로 정식화하여 이러한 도전 과제를 해결하기 위한 새로운 방법을 제안합니다. 직관적으로, 입력 이미지에 대해 여러 개의 과노출 이미지를 먼저 추정할 수 있습니다. 이렇게 하면 이들 이미지의 그림자 영역이 입력 이미지의 그림자가 없는 영역과 같은 색상을 가지게 됩니다. 그런 다음, 원래 입력 이미지를 과노출 이미지들과 융합하여 최종적인 그림자가 없는 대응 이미지를 생성할 수 있습니다. 그러나, 그림자의 공간적 변동성은 융합이 충분히 '현명'해야 함을 요구합니다. 즉, 최종 출력이 자연스럽도록 다른 이미지에서 적절한 과노출 픽셀을 자동으로 선택해야 합니다. 이 도전 과제를 해결하기 위해, 우리는 그림자를 인식하는 FusionNet(그림자 인식 융합망)을 제안합니다. 이 네트워크는 그림자 이미지를 입력으로 받아 모든 과노출 이미지에 대한 융합 가중치 맵을 생성합니다. 또한, 경계를 인식하는 RefineNet(경계 인식 개선망)을 제안하여 남아 있는 그림자 흔적을 더욱 제거합니다. 우리는 ISTD, ISTD+, 그리고 SRD 데이터셋에서 광범위한 실험을 수행하여 우리 방법의 효과성을 검증하고, 최신 기법들보다 그림자 영역에서 더 나은 성능과 비그림자 영역에서 유사한 성능을 보임을 입증하였습니다. 모델과 코드는 https://github.com/tsingqguo/exposure-fusion-shadow-removal 에 공개되었습니다.