ShadowFormer: 전역 컨텍스트가 이미지 그림자 제거에 도움을 줍니다

최근의 딥 러닝 방법들은 이미지 그림자 제거 분야에서 유망한 결과를 달성하였습니다. 그러나 대부분의 기존 접근 방식은 그림자와 비그림자 영역 내에서 국소적으로 작업하는 데 초점을 맞추고 있어, 그림자 경계 주변에 심각한 아티팩트가 발생하고 그림자와 비그림자 영역 간의 조명이 일관되지 않은 문제가 있습니다. 딥 그림자 제거 모델이 그림자와 비그림자 영역 간의 전역적 맥락 상관관계를 활용하는 것은 여전히 어려운 과제입니다. 본 연구에서는 먼저 Retinex 기반의 그림자 모델을 제안하며, 이 모델을 바탕으로 새로운 트랜스포머 기반 네트워크인 ShandowFormer를 도출하여 비그림자 영역을 활용해 그림자 영역 복원을 돕는 방법을 제시합니다. 다중 스케일 채널 주의 메커니즘(multi-scale channel attention) 프레임워크가 사용되어 전역 정보를 계층적으로 포착합니다. 이를 바탕으로 병목 단계(bottleneck stage)에서 그림자와 비그림자 영역 간의 맥락 상관관계를 효과적으로 모델링하기 위한 그림자 상호작용 모듈(Shadow-Interaction Module, SIM)과 그림자 상호작용 주의(Shadow-Interaction Attention, SIA)를 제안합니다. 우리는 ISTD, ISTD+, SRD 등 세 가지 인기 있는 공개 데이터셋에서 광범위한 실험을 수행하여 제안된 방법을 평가하였습니다. 우리의 방법은 최대 150배 적은 모델 매개변수를 사용하면서도 최신 수준의 성능을 달성하였습니다.