Smoothing Matters: Domain Adaptive Semantic Segmentation을 위한 Momentum Transformer

비전 트랜스포머 변형(Vision Transformers variants, ViTs)이 컴퓨터 비전에서 큰 성공을 거둔 후, 도메인 적응 의미 분할 영역에서도 큰 잠재력을 보여주었습니다. 그러나, 로컬 ViTs를 도메인 적응 의미 분할에 단순히 적용하면 예상한 개선 효과가 나타나지 않는다는 점이 불행히도 확인되었습니다. 우리는 로컬 ViTs의 문제점이 가짜 라벨 생성과 대상 도메인의 특성 정렬 과정에서 발생하는 심각한 고주파 성분 때문임을 발견했습니다. 이러한 고주파 성분은 로컬 ViTs의 학습 과정을 매우 부드럽지 않게 만들고, 이들의 전송 가능성을 해칩니다. 본 논문에서는 대상 도메인의 특성과 가짜 라벨의 학습 동학을 부드럽게 하기 위해 저통과 필터링 메커니즘인 모멘텀 네트워크를 소개합니다. 또한, 소스 도메인과 대상 도메인 간의 분포를 동적 가중치를 사용하여 샘플의 중요성을 평가하면서 정렬하기 위한 차이 측정 동적 방법을 제안합니다. 위와 같은 문제들을 해결한 후, 시뮬레이션-리얼(sim2real) 벤치마크에서 수행된 광범위한 실험 결과는 제안된 방법이 최신 기법들보다 우수함을 보여줍니다. 우리의 코드는 https://github.com/alpc91/TransDA에서 이용 가능합니다.