ShadowMaskFormer: 그림자 제거를 위한 마스크 증강 패치 임베딩

Transformer는 최근 컴퓨터 비전 작업의 사실상의 모델로 부각되었으며 그림자 제거에도 성공적으로 적용되었습니다. 그러나 이러한 기존 방법들은 트랜스포머 블록 내부의 주의 메커니즘에错综复杂的修改를 가하며, 일반적인 패치 임베딩을 사용합니다. 그 결과 종종 추가적인 계산 자원이 필요한 복잡한 아키텍처 설계를 초래합니다. 본 연구에서는 초기 처리 단계에서 그림자 정보를 통합하는 효과를 탐구하고자 합니다. 이를 위해, 그림자 제거에 특화된 새로운 패치 임베딩을 도입한 트랜스포머 기반 프레임워크인 ShadowMaskFormer를 제안합니다. 구체적으로, 우리는 간단하면서도 효과적인 마스크 증강형 패치 임베딩을 소개하여 그림자 정보를 통합하고 모델이 그림자 영역에 대한 지식 획득에 더 중점을 두도록 유도합니다. ISTD, ISTD+, 그리고 SRD 벤치마크 데이터셋에서 수행된 광범위한 실험은 우리 방법론이 최신 접근 방식들보다 우수한 성능을 보여주면서도 더 적은 모델 매개변수를 사용한다는 것을 입증하였습니다. 우리의 구현은 https://github.com/lizhh268/ShadowMaskFormer에서 확인할 수 있습니다.注：在上述翻译中，“错综复杂的修改”是中文，正确的韩文翻译应该是“복잡한 수정”. 以下是修正后的版本：Transformer는 최근 컴퓨터 비전 작업의 사실상의 모델로 부각되었으며 그림자 제거에도 성공적으로 적용되었습니다. 그러나 이러한 기존 방법들은 트랜스포머 블록 내부의 주의 메커니즘에 복잡한 수정을 가며, 일반적인 패치 임베딩을 사용합니다. 그 결과 종종 추가적인 계산 자원이 필요한 복잡한 아키텍처 설계를 초래합니다. 본 연구에서는 초기 처리 단계에서 그림자 정보를 통합하는 효과를 탐구하고자 합니다. 이를 위해, 그림자 제거에 특화된 새로운 패치 임베딩을 도입한 트랜스포머 기반 프레임워크인 ShadowMaskFormer를 제안합니다. 구체적으로, 우리는 간단하면서도 효과적인 마스크 증강형 패치 임베딩을 소개하여 그림자 정보를 통합하고 모델이 그림자 영역에 대한 지식 획득에 더 중점을 두도록 유도합니다. ISTD, ISTD+, 그리고 SRD 벤치마크 데이터셋에서 수행된 광범위한 실험은 우리 방법론이 최신 접근 방식들보다 우수한 성능을 보여주면서도 더 적은 모델 매개변수를 사용한다는 것을 입증하였습니다. 우리의 구현은 https://github.com/lizhh268/ShadowMaskFormer에서 확인할 수 있습니다.