TransAdapter: 특성 중심 비지도 도메인 적응을 위한 비전 트랜스포머

비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 소스 도메인의 레이블 데이터를 활용하여 타겟 도메인의 레이블 없이 작업을 해결하는 것을 목표로 하며, 일반적으로 두 도메인 간의 큰 도메인 갭(domain gap)으로 인해 제약을 받는다. 기존의 CNN 기반 방법은 복잡한 도메인 간 관계를 충분히 포착하지 못하는 한계를 지니고 있어, 국소적 및 전역적 의존성을 효과적으로 모델링할 수 있는 비전 트랜스포머(Vision Transformer) 기법, 특히 Swin Transformer로의 전환이 촉진되고 있다. 본 연구에서는 Swin Transformer를 기반으로 하는 새로운 UDA 방법을 제안하며, 세 가지 핵심 모듈을 도입한다. 첫째, 그래프 도메인 판별기(Graph Domain Discriminator)는 그래프 합성곱을 통해 픽셀 간 상관관계를 포착하고 엔트로피 기반의 주의 메커니즘을 활용해 도메인 간 차이를 구분함으로써 도메인 정렬을 강화한다. 둘째, 적응형 듀얼 주의(Adaptive Double Attention) 모듈은 윈도우 및 시프트된 윈도우 주의를 결합하고 동적 재가중 기법을 적용하여 장거리 및 국소적 특징을 효과적으로 정렬한다. 셋째, 크로스-특징 변환(Cross-Feature Transform)은 Swin Transformer 블록을 수정하여 다양한 도메인 간 일반화 성능을 향상시킨다. 광범위한 벤치마크 실험을 통해 제안한 방법이 최신 기술 수준의 성능을 입증하였으며, 작업 특화 정렬 모듈 없이도 다양한 응용 분야에 유연하게 적용 가능함을 확인하였다.