EUDA: 자기지도 시각 변환기를 통한 효율적인 비지도 도메인 적응

비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 학습 데이터(소스 도메인)의 분포와 테스트 데이터(타겟 도메인)의 분포가 다를 때 발생하는 도메인 차이 문제를 완화하는 것을 목표로 한다. 이 문제를 해결하기 위해 다양한 모델이 개발되어 왔으며, 최근에는 시각 트랜스포머(Visual Transformers, ViTs)가 유망한 성과를 보이고 있다. 그러나 ViTs는 복잡한 구조와 많은 학습 가능한 파라미터를 가지며, 이로 인해 실용적 응용에 있어서의 배포가 제한된다. 이는 학습 가능한 파라미터를 줄이면서도 특정 요구에 따라 모델의 복잡도를 조절할 수 있고, 동시에 경쟁적인 성능을 제공할 수 있는 효율적인 모델의 필요성을 강조한다. 본 논문에서는 이러한 요구를 충족하기 위해 효율적인 비지도 도메인 적응(Efficient Unsupervised Domain Adaptation, EUDA) 프레임워크를 제안한다. EUDA는 자기지도 학습 기반의 시각 트랜스포머인 DINOv2를 특징 추출기로 사용한 후, 완전 연결층으로 구성된 단순화된 블록체인(bottleneck)을 통해 특징을 정제하여 도메인 적응 성능을 향상시킨다. 또한 EUDA는 교차 엔트로피(Cross-Entropy, CE)와 최대 평균 차이(Maximum Mean Discrepancy, MMD) 손실을 통합한 상호보완적 도메인 정렬 손실(Synergistic Domain Alignment Loss, SDAL)을 도입하여, 소스 도메인에서의 분류 오류를 최소화하면서 동시에 소스 및 타겟 도메인의 분포를 정렬함으로써 적응 성능을 균형 있게 향상시킨다. 실험 결과, EUDA는 다른 최첨단 방법들과 비교하여 유사한 도메인 적응 성능을 달성하면서도 학습 가능한 파라미터 수를 42%에서 99.7%까지 크게 감소시킴으로써 자원 제약 환경에서도 모델을 효율적으로 학습할 수 있음을 보여준다. 본 모델의 코드는 다음 링크에서 제공된다: https://github.com/A-Abedi/EUDA.