TransWeather: 날씨 악화로 인한 이미지 훼손 복원을 위한 트랜스포머 기반 방법

우천, 안개, 눈 등의 악천후 조건을 이미지에서 제거하는 것은 많은 응용 분야에서 중요한 문제입니다. 문헌에 제시된 대부분의 방법은 단일 종류의 환경 저하를 제거하는 데 초점을 맞추고 설계되었습니다. 최근에는 신경망 구조 탐색(Neural Architecture Search)을 이용한 CNN 기반 방법(All-in-One)이 제안되어 모든 악천후 조건을 한 번에 제거할 수 있게 되었습니다. 그러나 이 방법은 각 악천후 제거 작업에 대응하기 위해 여러 인코더를 사용하여 많은 매개변수를 가지고 있으며, 성능 개선 여지가 여전히 존재합니다. 본 연구에서는 모든 악천후 조건 제거 문제에 대한 효율적인 해결책 개발에 중점을 두고 있습니다. 이를 위해 TransWeather라는 새로운 트랜스포머 기반 엔드투엔드 모델을 제안합니다. 이 모델은 단일 인코더와 디코더만으로 어떤 악천후 조건으로 인해 저하된 이미지를 복원할 수 있습니다. 특히, 패치 내에서 주의력을 강화하여 작은 규모의 환경 저하를 효과적으로 제거할 수 있는 새로운 트랜스포머 인코더를 활용하였습니다. 또한, 현재 처리 중인 환경 저하에 적응할 수 있는 학습 가능한 날씨 유형 임베딩을 도입한 트랜스포머 디코더도 소개합니다. TransWeather는 All-in-One 네트워크뿐만 아니라 특정 작업에 미세 조정(fine-tuned)된 방법들보다도 여러 테스트 데이터셋에서 성능 개선을 보였습니다. 또한 실제 환경 테스트 이미지에서도 검증되었으며, 이전 방법들보다 더 효과적임이 확인되었습니다. 구현 코드는 https://github.com/jeya-maria-jose/TransWeather 에서 접근할 수 있습니다.