초록
비지도 도메인 적응(UDA)은 레이블이 부여된 소스 도메인에서 학습된 지식을 활용하여 레이블이 없는 타겟 도메인에서의 성능을 향상시키는 것을 목표로 한다. 기존의 UDA 방법에서 컨볼루션 신경망(CNN)이 주로 사용되어 왔지만, 최근 연구에서는 비전 트랜스포머(ViTs)를 이 작업에 적용하는 데 있어 큰 성과가 나타나고 있다. 본 연구에서는 ViT의 UDA 성능을 향상시키기 위해 새로운 특징 병합 전이 가능성 인식 트랜스포머(Feature Fusion Transferability Aware Transformer, FFTAT)를 제안한다. 본 방법은 두 가지 핵심 혁신을 도입한다. 첫째, 패치의 전이 가능성(transferability)을 평가하기 위해 패치 판별기(patch discriminator)를 도입하여 전이 가능성 행렬을 생성한다. 이 행렬을 자기 주의(self-attention) 메커니즘에 통합함으로써 모델이 전이 가능한 패치에 집중하도록 유도한다. 둘째, 잠재 공간에서 임베딩을 병합하는 특징 병합 기법을 제안하여 각 임베딩이 다른 모든 임베딩의 정보를 포함하도록 하여 일반화 능력을 향상시킨다. 이 두 구성 요소는 상호 보완적으로 작용하여 특징 표현 학습을 강화한다. 널리 사용되는 벤치마크에서 실시한 광범위한 실험 결과, 본 방법이 UDA 성능을 크게 향상시키며, 최고 수준의 성능(SOTA)을 달성함을 입증하였다.