SnowFormer: 단일 이미지 제설을 위한 스케일 인식 컨텍스트 상호작용 트랜스포머

다양하고 복잡한 눈의 퇴화로 인해 단일 이미지에서 눈을 제거하는 작업은 도전적인 이미지 복원 과제입니다. 기존 방법들이 이를 이상적으로 처리하지 못함에 따라, 우리는 효율적인 크로스 어텐션을 활용하여 패치 간의 로컬-글로벌 컨텍스트 상호작용을 구축하고, 로컬 연산자나 일반 트랜스포머를 사용하는 기존 연구들을 능가하는 새로운 트랜스포머인 SnowFormer를 제안합니다. 기존의 눈 제거 방법들과 보편적인 이미지 복원 방법들에 비해 SnowFormer는 다음과 같은 장점이 있습니다. 첫째, 최근의 이미지 복원 비전 트랜스포머에서 사용되는 다중 헤드 자기 어텐션과 달리, SnowFormer는 스케일 인식 눈 쿼리와 로컬 패치 임베딩 사이의 로컬-글로벌 컨텍스트 상호작용을 수행하기 위해 다중 헤드 크로스 어텐션 메커니즘을 통합합니다. 둘째, SnowFormer의 눈 쿼리는 집계된 스케일 인식 특징으로부터 생성되며, 이는 잠재적으로 깨끗한 신호를 많이 포함하여 우수한 복원 결과를 가져옵니다. 셋째, SnowFormer는 여섯 개의 합성 및 실제 데이터셋에서 최신의 고급 눈 제거 네트워크들과 보편적인 이미지 복원 트랜스포머들보다 뛰어난 성능을 보입니다. 코드는 \url{https://github.com/Ephemeral182/SnowFormer}에서 제공됩니다.